AI 晶片短缺持續，但曙光乍現
隨著生成式人工智慧 (genAI) 的採用持續飆升，GPU 需求量大之餘，AI 應用程式需要的高性能記憶體晶片需求量也大增。目前兩者市場供應緊張，但預計情況會有所緩解。
根據IDC的調查研究，全球66%的企業表示他們將在未來18個月內對genAI進行投資。在計劃2024年增加IT支出的組織中，基礎設施將占到總支出的46%。問題在於：構建 AI 基礎設施所需的關鍵硬體供應不足。
在過去兩年中，AI應用的迅速增長給行業帶來了壓力，使其難以供應運行 genAI 和其他 AI 密集型運算所需的特殊高性能晶片。賓夕法尼亞大學電腦與資訊科學系教授 Benjamin Lee 表示，人們對處理器短缺的關注主要集中在對Nvidia GPU及其他晶片公司（如AMD、Intel和超大規模資料中心營運商）的需求上。然而，很少有人關注對高頻寬記憶晶片需求的爆炸性增長，這些晶片由韓國的SK海力士 (SK Hynix) 生產。
早前SK海力士表示，由於需求旺盛，能與高性能 GPU 結合使用以處理 AI 處理需求的高頻寬記憶體 (HBM) 產品幾乎已訂滿到2025年。根據市場研究公司 TrendForce 的數據，由於 AI 晶片的價格溢價和容量需求增加，HBM 的價格最近也上漲了 5% 到 10%。
根據TrendForce高級研究副總裁Avril Wu表示，從2024年開始，HBM晶片預計將佔DRAM總市場價值的20%以上，到2025年可能超過30%。由於並非所有主要供應商都通過了[高性能HBM]的客戶資格認證，買家為了確保穩定和高品質的供應，接受了更高的價格。
為什麼 GPU 需要高頻寬記憶體
HBM 為 GPU 提供需要處理的數據。沒有 HBM 晶片，數據中心伺服器的記憶體系統將無法跟上 GPU這些高性能處理器的速度。任何為 AI 計算購買 GPU 的人都需要高頻寬記憶體。雖然SK海力士的產量接近極限，但隨著三星和美光擴大HBM產量，市場需求應該可以滿足。
目前的HBM短缺主要受到台積電先進封裝CoWoS產能不足的限制。台積電正在擴充CoWoS產能，預計到明年底時，供應緊張的情況可能會有所緩解。根據 TrendForce 的數據，Nvidia 正在通過提高其 CoWoS 和 HBM 產能來解決 GPU 供應短缺問題。預計這種積極的措施將在2024年第二季將目前的平均交貨時間從40週縮短一半，因為新的產能開始投入使用。這種擴張旨在緩解由於 GPU 短缺而阻礙 AI 伺服器供應的供應鏈瓶頸。
根據 Gartner 研究的數據，全球對 AI 晶片的支出預計今年將達到 530 億美元，並且在未來四年內將增長一倍以上。因此，晶片製造商正加緊推出新的處理器。然而，沒有 HBM，這些處理器可能難以滿足 genAI 的高性能需求。