AI 推理晶片降本提效看 ASIC

AI 產業變革演進, ASIC 需求顯現. ASIC 是一種為特定用途而定制的集成電路晶片, 其特點是通過高確定性換得高效率, 確定性帶來性能的優化, 與通用集成電路相比往往具有體積更小, 重量更輕, 功耗更低, 可靠性提高, 性能提高, 保密性增強, 成本降低等優點.

 
TPU 是 ASIC 晶片, 主要任務是矩陣處理, 即乘法和累加運算的結合. 可以快速高效處理神經網絡中使用的大量矩陣運算. GPU 同樣也適合處理大量並行任務, 但依然是一種通用處理器, 對於數千個算術邏輯單元 (ALU) 中的每一次計算, GPU 都必須訪問暫存器或共享內存, 而 TPU 在矩陣乘法過程中, 不需要訪問內存.

單顆 ASIC 算力相比目前最先進的 GPU 存在劣勢, 但考慮其往往針對特定業務場景設計, 還有配套的通信互聯和軟件生態, 整個 ASIC 集群的算力利用效率可能會優於可比的 GPU. 此外 ASIC 還有明顯的價格, 功耗優勢. 我們認為針對特定場景的 ASIC 規模部署有望提升雲廠商的 ROI.

從單卡算力來看, 北美雲廠商的 AI ASIC 晶片算力普遍低於 H100 晶片, 但由於其成本較低, 在推理常用精度下, ASIC 展現出了更高的性價比 (TFLOPS/$). 谷歌 TPU v6 和微軟 Maia 100 的算力在 ASIC 中較高, 分別達 H100 非稀疏算力的 90%, 80% 以上.

由於制造工藝接近物理極限, 晶片性能提升速度放緩, 同時功耗散熱問題越來越嚴重, 成為性能提升的瓶頸. 對此困境, 卸載通用計算晶片的部分功能, 設計出針對特定場景的晶片, 是提升運算性能, 降低能耗的重要方式. 參考比特幣礦機, 由於比特幣的算法固定, 晶片廠商可以針對其算法設計專用 ASIC.

ASIC 設計服務市場中參與廠商眾多, 包括博通,  Marvell,  聯發科 (消費電子), 智原 (產業/AI物聯網), 創意(消費電子/網路通訊), 世芯(HPC) 等. 從客戶角度看, 博通在定制人工智能加速器領域擁有頭部客戶, 與該領域最主要的客戶 Google 合作打造了 TPU, 並不斷更新叠代, 目前合作已超 10 年.

據 Marvell 預測, 2023 年定制晶片僅占數據中心加速計算晶片的 16%, 其規模約 66 億美元, 隨著 AI 計算需求增長, 預計定制晶片占比將提升至 2028 年的 25%, 推估 2028 年數據中心定制計算晶片市場規模將達到 429 億美元, 2023-2028 年 CAGR 達 45%.

推理晶片更加關注功耗, 時延, 成本, 且對精度要求相對較低. 深度學習由訓練和推理兩個任務組成. 根據 CSET 數據, ASIC 晶片在推理領域優勢明顯, 其效率和速度約為 CPU 的 100-1000倍, 相較於 GPU 和 FPGA 具備顯著競爭力. 盡管 ASIC 晶片同樣可以應用於訓練領域.

全球 AI 晶片市場快速增長, 預計 22-32 年 CAGR 達 29.72%. 預計 ASIC在 AI 晶片的占比將大幅提升. 根據 McKinsey Analysis數據, 在數據中心側, 25 年 ASIC 在推理/訓練應用占比分別達到 40%, 50%; 在邊緣側, 25年 ASIC 在推理/訓練應用占比分別達到 70%, 70%, ASIC 在 AI 晶片的占比將大幅提升.

ASIC 的發展聚焦於兩個方向, 一為 "Wafer-Scaling", 以 Cerebras 為例, 即擴大單個晶片面積, 實現在單個晶片內裝在更多的 MXU, 也即是矩陣計算核心. 二為 "近存計算", Groq 具體展示了這一路線, MXU 將數據運算後直接轉移給相鄰的 sRAM, 由於傳輸距離短, 疊加 sRAM 的高帶寬, 從而實現了繞過 HBM 的流水線式加工.