Nvidia 發表 Blackwell 架構關注 NVLink 連接技術

 Nvidia 正式發布 Blackwell 架構的 GPU B200, 計算平台 HGX B200 以及新一代 NVLink 5.0 連接技術. 同時, Nvidia 基於 B200 和 Grace CPU 推出了超級晶片 GB200, 以及由 72 張 GB200 組成的 DGX GB200 NVL72 超級計算機.

B200 採用台積電的 4nm 工藝蝕刻而成, 通過 NVLink 5.0 將兩個獨立制造的裸晶 (Die) 連接整合, 內部共有 2080 億個晶體管. 單個 Blackwell Die 的浮點運算能力相較於 Hopper Die 提高近 25%, 總性能提升 2.5 倍, 在處理 FP4 精度的浮點運算時, 性能還能進一步提升至 H100 的 5 倍.

NVLink Switch 協同 NVLink 釋放數據傳輸能力. NVLink Switch 通過連接多個 NVLink, 實現了機架內和機架間全速度的 GPU 通信, 這是一種 1.8TB/s 雙向直接 GPU 到 GPU 互連技術, 極大地擴展了伺服器內多 GPU 的輸入和輸出能力.

DGX GB200 NVL72 超級計算機包含 18 個 GB200 節點機架和 9 個 NVSwitch 節點機架. 每個 GB200 節點搭配 1 個 Grace CPU 和 2 個 GB200 GPU, 共計 36 個 Grace CPU 和 72 個GB200 GPU.

DGX GB200 NVL72 使用液冷散熱, 在功耗方面, 由於使用了 5000 條左右總長度 2 英里的 NVLink 銅纜, 在內部的 GB200 節點和 NVSwitch 節點間通信不再依賴光收發器, 從而降低近20KW 的功耗.

隨著數據中心設備速度的不斷提高, 在一定距離下, PCB 基材存在損耗問題, 無法繼續提供可接受的傳輸性能. 線纜背板技術已經存在 10 余年, 最近從 10 Gbps 背板生態系統升級到 25 Gbps 及以上的背板生態系統讓線纜背板技術成為適用於當今系統架構的理想解決方案.

截至 2023 年 6 月, 泰科, 安費諾, 莫仕等海外廠商 112G 高速線纜背板產品進入量產階段, 部分中國廠商已完成小批量試制, 有望近年進入量產. 隨著人工智能和機器學習的指數級增長, 市場需求不斷升級, 未來 224G 的產品成為新的研發和競爭方向.

Nvidia 推出高速 GPU 互連技術 NVLink™, 提供的速度遠超基於 PCIe 的解決方案, 是多 GPU 系統擴展內存和性能的理想選擇. 它為處理最大視覺計算工作負載, 釋放百億億次計算能力和萬億參數人工智能模型的全部潛力提供了關鍵基礎.

DGX GB200 NVL72 使用第五代 NVLink 實現互聯, NVLink 多節點 all-to-all 帶寬達到 130TB/s, 新一代的 DGX SuperPOD 可由 8 台以上的 DGX GB200 超級計算機構成, 用戶可通過 NVLink 連接 8 台 DGX GB200 超級計算機的 576 塊 GB200 GPU. 

 根據 SemiAnalysis 的測算, 鑒於 DGX GB200 NVL72 擁有 72 個 OSFP 端口, 每個端口對應於 1 個 400G 或 800G 光模組, 隨著 GB200 數量的增加, 網絡拓撲結構發生變化, 最終 GB200 對應於 800G 光模組的數量關系將介於 1:2.5~1:3.5 之間.

DGX GB200 NVL72 在內部節點間使用銅纜連接,  主要是出於降低功耗的考慮,國內相關概念股為佳必琪.   跨機櫃連接短期內仍依賴於光收發器. 光模組部分目前主要仍使用 400G/800G  規格,  但未來 1.6T 將成為  Blackwell  主流配置.