Nvidia GB200 發布關注高速銅纜商機

 輝達的 GB200 系統的 NVLink 域支持 36 個 CPU 和 72 個GPU, 一個 GB200 NVL72 compute Rack 擁有 8 個 GB200 NVL72, 288 顆 Grace CPU 和 576 顆 Blackwell GPU, 整個數據中心集群將擁有 32000 顆 GPU, 645EFLops AI 算力 13PB 高速內存和累計 58PB/s 的 NVLink 互聯帶寬.

NVLink 互聯速度升級到 1.8TB/s 雙向帶寬, 集群性能更優. 此次輝達在 GTC 大會上推出了全新的 NV Switch 晶片, 擁有 1.8TB/s 雙向帶寬, 相較上一代 NVLink 提升了一倍, 可以支持 576 塊 GPU 之間的高速通信. 

GB200 NVLink Switch 和 Spine 由 72 個 Blackwell GPU 採用 NVLink 全互連, 具有 5000 根 NVLink 銅纜 (合計長度超 2 英里). 對比 GH200, GB200 把交換器, 伺服器和  GPU 集成在同一個機櫃內, 改用了刀片式伺服器的連接方式, 採用背板線纜模式, 提高了散熱效率, 改善伺服器與交換器的信號傳輸質量.

目前銅纜模組主要分為 DAC, AEC, ACC 三種. 其中 DAC (Direct Attach Cable) 無源直連銅纜兩端是簡單的電纜連接器, 成本較低; AEC (Active Electrical Cable) 和 ACC (Active Copper Cable) 均為有源電纜, 相比無源 DAC 傳輸距離更長.

銅纜互聯由於不涉及光電轉換, 因此具有低功耗特點, 相比於有源光纜 (AOC), 目前的銅直接連接電纜 (DAC) 的功耗小於 0.1 W, 可以忽略不計, 有源電纜 (AEC) 亦可將功耗控制在 5w 以內, 可在一定程度上降低算力集群整體功耗.

在銅纜可觸及的高速信號傳輸距離內, 相比光纖連接, 銅連接方案的成本較低, 此外銅纜模組在短距離內可以提供極低延遲的電信號傳輸並具有高可靠性, 不會出現光纖在某些環境下可能出現的信號丟失或干擾風險. 同時, 銅纜的物理特性使得它更易於處理和維護, 並且其具有高兼容度並不需要額外的轉換設備.

根據 Light Counting, 全球無源直連電纜 DAC 和有源電纜 AEC 的市場規模將分別以 25% 和 45% 的 CAGR 增長, 在全球範圍內, 大型人工智能集群以及長距離的型號傳輸主要依賴光通信, 而較小的數據中心系統仍將主要使用電纜.

2022 年全球高速銅纜 DAC 市場前十強占有大約 69.0%的市場份額, 其中安費諾市場份額最大. 全球範圍內高速銅纜 DAC 生產商主要包括 Amphenol Corporation, Molex, TE Connectivity, Juniper Networks, Volex, Nvidia, Panduit, Proterial,  佳必琪,  立訊精密 等.

目前主流用於通信領域的 Serdes 速率在 56G 和 112G, 在即將到來的 224G 時代, 數據中心通信單端口速率將基於 4 通道達到 800G, 8 通道達到 1.6T, 成本有望大幅下降. 與之對應的銅連接單通道速率也向著更高的 112Gbps 和 224Gbps 演進.

"光銅並進". 小於 72 個 GPU 以內的小型集群, 輝達採用銅纜進行內部互聯, 無需使用光模組. 當 GPU 數量上升至 72-576時, 也就是跨機櫃場景 (單機內部還是銅互聯),  就必須大量使用光模組了,  對於超過 576 個GPU的集群的外部互聯, 第三層網絡採用 InfiniBand 技術.

在伺服器系統內部主要使用高速跳線 (Overpass), 以安費諾的產品方案為例, 其高速跳線方案可以實現 CPU 或 ASIC 附近高速信號與系統任意位置的高速信號傳輸, ASIC 發出高速信號後立即傳輸到雙同軸電纜.