超算中心交換器發展趨勢

交換器最關鍵的衡量標準之一是頻寬/吞吐量, 它表示交換器的總資料傳輸能力. 目前最先進的單交換器晶片(如博通的 Tomahawk 5) 提供 51.2 Tbps 的頻寬, 這意味著它們能夠在組合輸入和輸出時每秒傳輸最大 51.2 Tbps 的資料. 生產先進的交換器晶片非常複雜,  51.2T 交換晶片需要 5nm 或更小的生產節點, 而前幾代 (25.6T/12.8T) 可以使用 7nm 生產.

增加交換器頻寬的主要瓶頸在於 SerDes, 它執行平行訊號與為串列訊號轉換任務, 這是實現高速資料傳輸的關鍵功能, 類比晶片＋交換晶片的融合使 SerDes 成為瓶頸. 能夠生產 112G SerDes 的公司包括 Broadcom, Nvidia, Marvell, Cisco 和華為. SerDes 技術的下一個里程碑是達到 224G 速度, Broadcom 和 Nvidia 已經準備好了 224G 解決方案, 而 Marvell 和其他公司則在處於落後地位.

對於交換晶片, Nvidia 和 Broadcom 是領先的供應商, Marvell 排名第三. 在 IB 環境中, Nvidia 憑藉其生態系優勢無疑佔據主導地位. 然而, 在乙太網路環境中, Broadcom 傳統上一直是市場領導者, 佔約 70% 的份額, 而 Marvell 約佔 20%, 其他公司包括 Intel 佔剩餘的 10%. Nvidia 也同時推出 Spectrum 系列來搶奪高階乙太網路市場.

Nvidia 的優勢在於其對整個網路生態系統的更深入了解, 這要歸功於其在網路內其他關鍵元件 (如 GPU 和 NIC) 方面的主導地位. Broadcom 則受益於在交換器晶片生產方面的長期經驗以及與主要製造商建立的牢固合作夥伴關係. 預計兩者結合起來可以佔據未來高階乙太網路交換器晶片市場的大部分份額 (75% 以上).

交換器依購買方案可分為黑盒 (品牌) 或白標 (ODM/JDM 和重新品牌). 在當今的人工智慧資料中心中, 約 30-40% 的交換器是白標交換器, 這一比例已經高於傳統企業網路中常見的交換器, 因為人工智慧網路交換器的大多數主要客戶都是擁有強大內部技術的超大規模企業專業知識和大量的購買量/能力.

在黑盒領域, 主要參與者是 Arista, Cisco 和 Juniper; Juniper 在 AI 資料中心的佈局仍然有限, 其主要市場仍然是傳統的企業網路, 在眾多供應商中, Arista 脫穎而出, 成為領先者. 其解決方案嚴重依賴 Broadcom 的晶片, Arista 以其強大的軟體和系統整合能力而聞名, 這與 Broadcom 強大的硬體專業知識相得益彰.

白標解決方案通常比同類黑盒產品便宜 20% 左右. 該領域的主要參與者是 Celestica 和 Accton, 這兩家公司也主要使用 Broadcom 的晶片. Microsfot 被認為相對 "保守", 因為它更喜歡更成熟的黑盒解決方案或 ODM 產品, Arista 成為其主要供應商. Google, Meta 和 Amazon 採取了更平衡的方法, 對白標解決方案表現出更大的開放性, 並更深入地參與定製過程.

交換器產業的一個顯著趨勢是人們對採用 CPO 架構的興趣日益濃厚, 今年10月,  Nvidia 推出了其旗艦產品 Q3400 IB 交換器系列的 CPO 版本, 計劃於 2025 年下半年量產. CPO 的技術, 實現了更高級別的集成, 可顯著降低功耗和延遲. 透過消除對外部光模組的需求, CPO縮短了連接路徑並增強了整合度, 從而降低了 30-50% 的功耗並降低了延遲.

CPO 路線圖仍面臨幾個挑戰: 1) 相容性: 用於驅動 SiPh 模組 (CPO 交換器中使用) 中光訊號的 CW 雷射可能因供應商而具有不同的波長, 導致不同製造商的 CPO 交換器之間的訊號不相容. 2) 故障排除: 將光學引擎與交換晶片整合會增加維修的複雜性和成本. 3) 價格: 導致現階段 CPO 交換器的成本比傳統的高得多. 因此, CPO 架構的採用還需要一段時間.

目前光模組產業處於 800G/1.6T 頻寬節點, 非 CPO 架構仍足以有效處理傳輸工作負載. 產業專家預測, 在下一代 3.2T 頻寬 (2026-2027年時間範圍), 獨立光模組仍將是主流, CPO可能佔約 15% 的市場份額. 隨著 2029-2030 年產業向 6.4T 節點推進, 傳統方法隨著頻寬的增加而面臨的功耗和訊號損失的挑戰可能會變得不切實際, CPO 可能會成為一種必要的進步.

CPO 與傳統設置的不同之處在於, 它將光學引擎直接與交換晶片整合在一起, 有效地消除了先前插入交換器的獨立光學模組. 這種轉變為新供應商成為光學引擎供應商打開了大門. 就 Nvidia 而言, 主要受益者是中國 TFC, 該公司為即將推出的 CPO 交換器提供光學引擎. 天孚通信通過給 Fabrinet 提供光引擎, 用於和電晶片封裝在一起形成 CPO.

光纖分路器( fiber splitter) 是 CPO 交換器中使用的關鍵被動元件. 在 Nvidia 的 CPO 交換器總共有 2,304 個通道 (= 144 個連接埠 x 每個連接埠 16 個通道). 為了管理這些通道, 光纖分路器用於將 CW 雷射光源分配到交換器中的 36 個光引擎, 然後將處理後的光訊號組織到 2,300 多個通道中, 這些通道連接到 MPO 端口, 以便隨後通過光纜進行傳輸. 光纖分路器內部的關鍵零件是 MT 插芯和光纖.

分線盒 (splitter box) 的價格很大程度上取決於它處理的通道數量. 中國 T&S Communications 是該領域的主要參與者, 其 300 通道分配器售價約為 1,000 美元, 500 通道分配器售價為 1,600 美元, 用於 Nvidia CPO 版本的 1,000 通道以上分配器售價超過 3,000美元. 與 Molex 相比, T&S 的價格優勢約為 20%, 業界專家也對 T&S 的研發能力和產品品質給予了高度評價.

CPO 趨勢的另一個主要受益者是 CW 雷射製造商. CPO 交換器依靠 SiPh 模組進行光學處理, 在這些 SiPh 模組中, 發射器側使用 CW 雷射, CW 雷射的領先生產商包括中國源傑科技,仕佳光子和美國 Lumentum. 其餘的 CW 光源廠商有日本 Furukawa, Sumitomo Electric, 美國 Broadcom, Coherent 等.

參考原文: Deep Dive: Switches