解析生成式AI時代的關鍵儲存技術 HBM

記憶體頻寬在生成式 AI 時代非常重要, 因為模型訓練通常受頻寬限制, 而不是計算限制. transformer 模型中的注意力機制必須存儲和計算所有 token 之間的關係, 記憶體需求與序列長度成正比, 同樣, 記憶體在推理過程中也是一個更大的限制, 因為需要處理更長的上下文視窗和在 transformer 模型中擴大的鍵值緩存 (KV 快取), KV 快取的記憶體消耗隨令牌大小線性增長.

HBM 是一種特殊的 DRAM, 垂直堆疊並通過矽內部稱為 TSV 的細線連接到處理器. TSV 允許直接連接多個 HBM DRAM 晶片, 以增加整體記憶體頻寬. 優勢有: 1) 高速: HBM 每秒提供 TB, 比常規 DDR 記憶體快 20 倍以上. 2) 電源效率: 因為它就在邏輯晶元旁邊, 所以節省了能源, 因為數據不必傳輸很遠. 3) 面積效率: 提供最高的單位面積容量.

每一代 AI 晶片的升級, HBM 都是提升效能 (更高頻寬或容量) 的關鍵因素, 在 Tick-Tock 週期中, NVIDIA GPU 在其同架構的第二代產品中, 主要的升級點在於 HBM 容量.  HBM 容量從 H100 提升至 H200, 從 B200 提升至 B300, 提升了50%, 從 Rubin 到 Rubin Ultra 也提升了4倍. 每個 GPU 模組擁有更多 HBM 堆疊, 每個 HBM 模組擁有更多 DRAM 晶片, 或升級 HBM 版本.

 

鑑於未來 GPU 和 ASIC 中 HBM 容量的增加, HBM 市場預計將快速成長. 據 SK 海力士預測, HBM 產業在 2024 年至 2028 年期間的複合年增長率將達到 50%. 對於 DRAM 生產商而言, HBM 已被證明比傳統 DRAM 更不受週期性影響. 雖然未來 HBM 的產量可能仍會波動, 但 HBM 的合約價格通常提前一年商定, 這比短期合約甚至 DRAM 的現貨價格更有利.

海力士憑藉其卓越的 MR-MUF 技術,  三星和美光則選擇了較差的 TC-NCF 技術, 這使得海力士以超過 60% 的市場份額佔據 HBM 市場的主導地位. MR-MUF 的另一個特點是製程在室溫下以較小的力完成, 而 TC-NCF 則需要在 300 攝氏度的高溫和較大的力下完成, 高溫會導致潛在的翹曲問題, 導致層彎曲, 較大的力也有可能在堆疊過程中損壞晶片.

海力士還擁有獨家環氧模塑料, 可實現更均勻的間隙填充和更佳的封裝效果. 它能夠減少空隙, 增強散熱, 並最大限度地減少翹曲. 這種樹脂基絕緣材料透過與日本主要供應商 Namics Corporation 簽訂的多年獨家合約供應. 除了專利壁壘之外, 這也是三星和美光無法複製 MR-MUF 技術的關鍵原因.

三星目前正在使用 1c nm DRAM 晶片和 4nm 邏輯晶片來開發 HBM 4, 試圖趕上. 然而三星 1c nm 的成果並不令人滿意, 而競爭對手 SK 海力士已經在 1c nm 製程上取得了令人印象深刻的良率. 鑑於海力士擁有更高的良率,  他們將在 HBM4 製程上使用其成熟的 1b nm 技術, 如果 1c nm 製程開發不成功, 三星在 DRAM 和 HBM 方面可能會進一步落後. 

三星預計將在其自己的先進節點上內部製造該基礎晶片, 據報道三星代工的 4nm 工藝節點, 而行業報告表明海力士和美光將把他們的業務外包給台積電, 可能採用 3nm 工藝來定制基礎晶片. HBM4 的基礎晶片主要有三個功能: 控制 DRAM 堆疊, 管理 I/O 介面和資料傳輸, 整合邏輯晶片和客製化 HBM4.

混合鍵合技術可在堆疊晶片之間實現直接的銅對銅鍵合, 無需使用微凸塊. 此解決方案可提供更緊密的間距, 更低的電阻和更佳的熱性能. 混合鍵合支援低於 10μm 的間距 (而微凸塊的間距約為 40-55μm), 從而允許層間實現更多連接. 由於凸塊間距較緊密且 HBM 晶片之間沒有間隙, HBM 的整體堆疊高度也可以降低.

HBM 尚未採用混合鍵結的主要原因是其成本遠高於現有方法. 混合式鍵合機的成本為 300萬美元, 而 TCB 的成本僅為 100~200萬美元. 由於額外的 CMP 步驟以及對更高等級無塵室的要求, 總擁有成本會大幅提升. CMP製程需要確保鍵合界面處的兩個晶片光滑平整, 由於無塵室的要求, 其他工具 (例如研磨機, 切割機和晶片貼裝機) 的成本也會更高.

三星和美光試圖在混合鍵結技術上超越海力士, 但混合鍵結技術大規模應用的時間點很可能是在 2028年或 2029年, 也就是 HBM5 20-Hi. 這也與 NVIDIA 的路線圖相符, 最快也要到 2028年底才會看到 HBM5 的採用, 並與 Rubin Ultra 之後的下一代 GPU 配套使用. 混合鍵結也使得前端和後端的界線變得模糊.

在供應鏈中, 由於競爭激烈, TCB 和混合鍵合機(Hybrid Bonder) 最受關注. 此外, 還需要鍵合機工具將 HBM 晶片堆疊在一起. TCB 目前是 SK 海力士, 三星和美光等廠商使用的主流鍵結設備, 目前, HBM 封裝的 TCB 市場由韓美半導體和韓華精密等韓國公司主導, 這兩家公司都為海力士和美光等主要 DRAM 製造商提供產品.

中國長鑫儲存正在努力追趕 HBM 技術. 據報導, 2024 年下半年, 長鑫儲存已開始量產 HBM2. 目前, 長鑫儲存正在研發 HBM3, 並計劃在明年實現量產. 這應該會將長鑫儲存與 HBM 領先者之間的差距縮小到四年左右. 此外, 該公司計劃在 2027 年發布 HBM3E 並推動量產. ; 考慮到該公司相對不成熟的 DRAM 和 HBM 技術, 這是一個相當雄心勃勃的路線圖.

原文: Deep Dive on HBM, https://substack.com/home/post/p-164567572?tm_campaign=post&utm_medium=web