AIGC 引爆算力新需求

 根據 IDC 預計, 全球數據總量預期 2026 年將超過 221,000 exabyte, 2021-2026 年 CAGR 達到 21.2%. 數據包括結構化和非結構化數據 (包括視頻, 照片和圖像, 語音以及文檔等), 但非結構化數據占每年創建數據超過 90%. 


根據 Precedence 數據, 2022 年全球人工智能 AI 晶片市場規模估計為 168.6 億美元, 預計 2030 年達到 1351.8 億美元, 2022 年至 2030 年的 CAGR 為 29.7%; 按照類型可以分為GPU, ASIC, FPGA, CPU 等.


根據 IDC 數據, 2021 年上半年中國人工智能晶片中, GPU 占有 90% 以上的市場份額, 而 ASIC, FPGA, NPU 等其他非 GPU 晶片也在各個行業和領域被越來越多地採用, 預計到 2025 年加總的占比有望超過 20%. 


輝達 DGX 配有 8 個 H100 GPU 模組, H100 配有 Transformer 引擎, 這 8 個 H100 模組通過 NVLINK Switch 彼此相連, 以實現全面無阻塞通信. 通過 400 Gbps 超低延遲的 NVIDIA Quantum InfiniBand 進行網絡內計算, 將成千上萬個 DGX 節點連接成一台 AI 超級計算機.


InfiniBand 的網卡收發時延在 600ns, 而乙太網上的收發時延在 10us左右, 輝達推出的 MetroX-3 提升長距離 InfiniBand 系統帶寬至 400G. 作為未來算力的基本單元, 高性能的數據中心越來越多的採用 InfiniBand 網絡方案, 尤其在超算中心應用最為廣泛.



AI 訓練晶片的架構, 主要包括: 1)  CUDA: 是一種將 GPU 作為數據並行計算設備的軟硬件體系. 2) 張量和矩陣核心: GPGPU 的大量硬件運算單元和高吞吐高帶寬的存儲設計能夠提供強大的計算能力. 3) HBM 記憶體: 新一代 DRAM 解決方案,  突破容量與帶寬瓶頸 . 4) 控制單元.


目前 AICG 在文本, 語音, 圖片生成等應用已初步形成交互場景, 但在視頻, 3D 等複雜度較高的領域仍處於探索階段, AIGC 在非結構化數據處理與應用仍有較大的發展空間. 根據騰訊研究院與 Acumen 預測, 2030 年 AIGC 市場規模有望達到 1100 億美元.


高性能 AI 應用中最常見的記憶體類型包含片上記憶體, HBM (高帶寬記憶體) 和Graphics DDR, SDRAM. SRAM 形式的片上記憶體是目前可用的最高帶寬和最節能的解決方案. 目前性能最高的兩種外部記憶體是 HBM 和 GDDR.


HBM (High Bandwidth Memory) 意為高帶寬存儲器, 是一種硬件存儲介質, 是高性能 GPU 的核心組件. GDDR6 也比不上 HBM, 它單顆粒的帶寬只有 64 GB/s, 是 HBM 的1/4. HBM 使用多根數據線實現高帶寬, 完美解決傳統存儲效率低的問題.


ChatGPT於 2022年12月推出之後, 僅用兩個月時間月活躍用戶數便超過 1億, 在短時間內積累了龐大的用戶基數, 也是歷史上增長最快的消費應用. 多模態大模型 GPT-4 是 OpenAI 的里程碑之作, 是目前最強的文本生成模型.


生成式 AI 是指利用現有文本, 音頻文件或圖像創建新內容的人工智能技術, 其起源於分析式 AI, 在分析式 AI 總結歸納數據知識的基礎上學習數據產生模式, 創造出新的樣本內容.  AIGC 根據面向對象, 實現功能的不同可以分為以下三大層次.


AIGC 以其真實性, 多樣性, 可控性, 組合性的特質, 為各行業, 各領域提供了更加豐富多元, 動態且可交互的內容. 根據 AIGC 生成內容的模態不同, 可將 AIGC 的應用領域分為視頻, 音頻, 文本, 圖像, 跨模態生成五個部分.


留言

  1. 輝達下一代AI晶片 將現身亞馬遜AWS在內多個平台
    https://money.udn.com/money/story/5599/7047811

    回覆刪除
  2. AI 伺服器需求增,組裝廠積極卡位
    https://technews.tw/2023/03/24/increased-demand-for-ai-servers/

    回覆刪除
  3. 愛普*看好AI事業漸切入主流應用 客戶信心度增
    https://www.moneydj.com/kmdj/news/newsviewer.aspx?a=3789fbda-7207-4b84-975c-2eb79a071a32

    回覆刪除
  4. 助力HBM3 DRAM問世 創意電子擁三獨門武器
    https://www.eettaiwan.com/20220926nt11-guc-announce-new-hbm3-platform/

    回覆刪除
  5. ChatGPT受惠者?三星、SK海力士HBM接單量激增
    https://www.moneydj.com/kmdj/news/newsviewer.aspx?a=b008968d-5267-4db6-922e-103c11953bc6

    回覆刪除
  6. 全球資料中心交換器22Q1銷售亮眼 研調估400G出貨將加速
    https://news.cnyes.com/news/id/4888357

    回覆刪除
  7. 金像電2022下半年網通需求佳 400G產品出貨持續增
    https://www.moneydj.com/kmdj/news/newsviewer.aspx?a=00678ab7-0405-4d7d-a4c5-361a35b77a30

    回覆刪除
  8. 400G光模組加速出貨 22Q4營運續強
    https://news.cnyes.com/news/id/4988835

    回覆刪除
  9. 華星光、眾達 業績動能強勁
    https://ctee.com.tw/news/warrant/788641.html

    回覆刪除

張貼留言