HBM 競爭格局綜覽

 計算能力與帶寬能力之間的差距致使內存容量和帶寬難以跟上 AI 硬件的計算速度, 成為限制 AI 晶片性能發揮的主要瓶頸, 即 "內存墻" (Memory Wall). AI 訓練場景下 HBM 作為內存提供更高的帶寬, 提升存算間通信效率, 實現單次更大批量 (batch size) 的數據傳輸, 從而降低延遲, 並提升算力利用率和訓練效率.

在算力接近的情形下, AI 晶片可以通過擴容內存和帶寬提升模型訓練和推理性能, H100 H200 兩者的算力指標基本相同, 但在 GPU 核心數和頻率保持不變的情況下, 僅通過內存從 HBM3 向 HBM3E 的叠代, 就能實現在 Llama2 和 GPT-3 等大語言模型推理性能 40%-90% 的提升.

綜合 Trendforce, Semianalysis 和 Digitimes 等多方信息, 我們對 2024 年 HBM 產能和需求做出預測, 我們預計 24/25 年 HBM 需求動態缺口約為產能的 5.4%/3.6%. 海力士HBM3E TSV+鍵合工藝良率已近 80%, 而海力士採用的 Advanced MR-MUF 鍵合較三星和美光採用的 TC-NCF鍵合在良率(40%-60%區間) 上有所優勢.

據 Yole Intelligence 報告, 23 年 HBM3 產量占總產能的 33%, 24 年 HBM3/3E 產量占比將躍升至 81% (HBM3: 62%, HBM3E: 19%), 25 年將進一步提升至 89%. 我們認為, 海力士作為輝達 HBM3/3E 主供, 產能向 HBM3/3E 傾斜將更為激進.

預測 24/25 年 HBM 總供給 1068.1/2210.9 mnGB , 年增 +123.5%/107.0%, 其中 24 年海力士, 三星和美光分別占總供給的 66%, 27% 和 7%, 伴隨美光 25 年 HBM 產能開出, 海力士, 三星和美光 HBM 供給量將分別占總供給的 56%, 29% 和 15%. 我們預測 24/25 年 HBM 總需求 1128.6/2293.0 mnGB, 由此測算得 24/25 年 HBM 供給缺口約為產能的 5.4%/3.6%.

SK 海力士: 超越三星的 HBM 領頭羊, 先發優勢, 領先制程和鍵合工藝穩坐頭把交椅我們認為盡管先前 "HBM3 獨供" 格局已被打破, 但通過供應輝達 H200 和 B 系列, 海力士 HBM3E 客戶仍然基礎穩固, 疊加其 Advanced MR-MUF 鍵合帶來的更高良率和更好的散熱性能, 將成為海力士維持 HBM 龍頭的 "護城河".

輝達計劃將新品發布周期從兩年縮短到一年, 以應對生成式 AI 快速發展對 GPU 性能提升的需求, 並已與海力士簽署 HBM3E 的優先供應協議, 根據計劃將於 24 年 5 月提供 12 層 HBM3E 樣品, 並於 24Q3 正式量產, 第一代 12 層 HBM4 計劃於 25 年量產,  並於 26 年提供 16 層 HBM4 樣品, 相較先前計劃提前一年.

在 HBM3 和 HBM3E 世代, 相較三星和美光, 海力士採用領先的 HBM 鍵合工藝, 是業內唯一將 MR-MUF 技術應用於 HBM 的公司. 海力士在 HBM2E 中首次使用 MR-MUF, 通過在晶片間注入 EMC (液態環氧樹脂模塑料 Epoxy Molding Compound) 填充晶片之間或晶片與凸塊之間間隙.

海力士沒有晶圓代工業務, 與台積電合作更加緊密, 二者作為受益於 AI 晶片的利益共同體, 合作推進 HBM4 研發. 該合作主要分為兩個方面: 1) 海力士和台積電將首先致力改善 HBM 封裝內最底層的基礎裸片 (Base Die). 2) 雙方將進一步優化海力士 HBM 產品和台積電 CoWoS 技術融合, 改善性能表現.

對比美光, 我們認為海力士優勢主要有二: 1) 產能: 相較美光 HBM 幾乎 "從無到有", 海力士憑借先發優勢, HBM3 和 HBM3E 產線成熟, 產能優勢較大. 2) 良率: 相較海力士 MR-MUF 鍵合技術, 美光的 TC-NCF 鍵合技術良率較低, 同時海力士在 HBM3 世代已有 8 層至 12 層爬坡經驗, 12 層 HBM3E 和 HBM4 量產相較美光或將更加順利.

三星因起步較緩, 短期內 HBM3 和 HBM3E 市場或難以追趕海力士, 中期 HBM4 或存在追趕機會: 1) 相較海力士, 三星 HBM3 和 HBM3E 市場份額或難以相匹敵, 目前三星 HBM3 和 HBM3E 尚未進入輝達達供應鏈. 2) 對比海力士和美光, 三星的獨特之處在於其整合存儲晶片和晶圓代工的能力, 從而實現 "一站式策略 (TurnkeyStrategy)".

HBM 產業鏈主要由 IP, 上游材料, 晶粒設計制造, 晶片制造, 封裝與測試等五大環節組成. 設備端: TSV 和晶圓級封裝需求增長. 由於獨特的3D堆疊結構, HBM 晶片為上游設備帶來了新的增量(前道環節/中段環節/後道環節), HBM的多晶片堆疊帶來 diebond 設備和測試設備需求增長. 材料端: HBM 的獨特性主要體現在堆疊與互聯上.

TSV 工藝價值量在 HBM 封裝工藝中占比最高. 根據 3DinCites 數據, 配置為 4 層 DRAM core die 和 1 層邏輯 base die 堆疊的 HBM 結構, 在 99.5%和 99%的晶片鍵合良率條件下, TSV 制造和 TSV 通孔露出工藝分別占其成本的 30%和 28%.

海力士仍可憑借 Advanced MR-MUF 取得相對三星和美光的良率領先, 節約的成本亦可幫助其擴產以維持 HBM 市場份額, 而另一方面, 混合鍵合的延遲導入將給予美光和三星在鍵合工藝上重回 "同一起跑線" 的機會, 三大廠商在 16 層堆疊時均面臨技術考驗, 誰在掌握散熱和良率方面能使用更好的材料, 將左右今後的競爭力.

台積電 2024 年 CoWoS 全年產出約 252 千片, 預計 2024 年全球 HBM 需求量約 4000 萬顆, 容量合計約 669M GB, 市場規模達到 91.4 億美金, 其中輝達所需的 HBM 占全球比重約 58%, 谷歌, AMD 緊隨其後, 分別占比 15%和 14%, 中國廠商 HBM 需求占比約 7%.