NVIDIA NVL72 GB200/GB300 系统的 InfiniBand 与 Ethernet 光纤连接方案

这份来自康宁光通信的白皮书围绕 NVIDIA NVL72 机柜级 GPU 丛集，给出 GB200 与 GB300 两代系统的光纤连接实施方法。NVL72 每个机柜含 18 个运算节点、共 72 个 GPU；GB200 每 GPU 通过 ConnectX-7 网卡提供 400G NDR 连接，GB300 则采用 ConnectX-8 支持 800G XDR。系统同时支持 InfiniBand 与 Ethernet 两种协议，对应不同的收发器、交换器与布线选择。 收发器层面，400G NDR 使用双埠 OSFP 的 MMS4X00-NM 与 MMS4X00-NS，分别覆盖 500 公尺和 100 公尺，采用 MPO-8/12 APC 界面；800G XDR 侧有双埠 MMS4A00 与单埠 MS4A20-XM800。多模 MMA4Z00-NS 系列基于 OM4 光纤支持 50 公尺，用于机柜内或同列短距连接。部分 400G 收发器可通过 Y 型分离线缆拆成两个 200G 连接。 布线按六个场景组织，并分为 Level A（服务器到 Leaf）、Level B（Leaf 到 Spine）、Level C（Spine 到 Core）三层。核心是康宁 CORE-Trunk 多光纤整合线缆与 EDGE8 结构化布线：一条 144 光纤 CORE-Trunk 可替代 18 条独立跳线，EDGE8 4U 外壳单台可容纳多达 2304 根光纤。在 16 SU 丛集中，Level A 与 Level B 的 55296 条跳线可缩减为 3456 条 CORE-Trunk，Level C 再以 1024 条 144 光纤 EDGE8 Trunk 骨干线缆连接集中式 Core 区域。 架构上，可扩展单元（SU）是基本模块：InfiniBand 的 GB200/GB300 每个 SU 含 16 个 NVL72 机柜、共 1152 个 GPU，Ethernet GB200 每个 SU 为 4 个机柜。NVL72 采用 4-Rail 设计，每个机柜每个 Rail 对应一台专属 Leaf 交换器，16 机柜的 SU 共需 64 台 Leaf，每 Rail 再配 9 台 Spine。交换器方面，Quantum-2 QM9700 提供 32 个 OSFP 双 MPO 埠（相当于 64 个 400G 埠），Quantum-3 Q3400-RA 为 4U、144 个 800G XDR 埠，Q3200-RA 为 2U 双 18 埠结构；Ethernet 侧 SN5600 提供 128 个 400G 埠，SN5400 提供 64 个。 规模扩展路径从 1 SU 到 16 SU：16 SU 丛集达 256 个 NVL72 机柜、4608 个节点、18432 个 GPU，需 1024 台 Leaf、576 台 Spine 和 288 台 Core 交换器，每层级 18432 个连接。GB300 进一步引入双平面与四平面拓扑，Ethernet 双平面下每个 SU 为 2 个机柜、144 个 GPU，四平面把网络压回两层并借 Shuffle Box 管理布线，可在两层设计中支撑 18432 GPU。极性方面，系统遵循 TIA-568 Type-B 标准，APC 连接器以绿色外壳标识，与旧款 HDR 使用的 aqua 色 UPC 不兼容，混布时需保持类型一致。