AI 芯片短缺持续，但曙光乍现
随着生成式人工智慧 (genAI) 的采用持续飙升，GPU 需求量大之余，AI 应用程式需要的高性能内存芯片需求量也大增。目前两者市场供应紧张，但预计情况会有所缓解。
根据IDC的调查研究，全球66%的企业表示他们将在未来18个月内对genAI进行投资。在计划2024年增加IT支出的组织中，基础设施将占到总支出的46%。问题在于：构建 AI 基础设施所需的关键硬体供应不足。
在过去两年中，AI应用的迅速增长给行业带来了压力，使其难以供应运行 genAI 和其他 AI 密集型运算所需的特殊高性能芯片。宾夕法尼亚大学电脑与资讯科学系教授 Benjamin Lee 表示，人们对处理器短缺的关注主要集中在对Nvidia GPU及其他芯片公司（如AMD、Intel和超大规模资料中心营运商）的需求上。然而，很少有人关注对高带宽内存芯片需求的爆炸性增长，这些晶片由韩国的SK海力士 (SK Hynix) 生产。
早前SK海力士表示，由于需求旺盛，能与高性能 GPU 结合使用以处理 AI 处理需求的高带宽内存 (HBM) 产品几乎已订满到2025年。根据市场研究公司 TrendForce 的数据，由于 AI 芯片的价格溢价和容量需求增加，HBM 的价格最近也上涨了 5% 到 10%。
根据TrendForce高级研究副总裁Avril Wu表示，从2024年开始，HBM晶片预计将占DRAM总市场价值的20%以上，到2025年可能超过30%。由于并非所有主要供应商都通过了[高性能HBM]的客户资格认证，买家为了确保稳定和高品质的供应，接受了更高的价格。
为什么 GPU 需要高带宽内存
HBM 为 GPU 提供需要处理的数据。没有 HBM 芯片，数据中心服务器的内存系统将无法跟上 GPU这些高性能处理器的速度。任何为 AI 计算购买 GPU 的人都需要高带宽内存。虽然SK海力士的产量接近极限，但随着三星和美光扩大HBM产量，市场需求应该可以满足。
目前的HBM短缺主要受到台积电先进封装CoWoS产能不足的限制。台积电正在扩充CoWoS产能，预计到明年底时，供应紧张的情况可能会有所缓解。根据 TrendForce 的数据，Nvidia 正在通过提高其 CoWoS 和 HBM 产能来解决 GPU 供应短缺问题。预计这种积极的措施将在2024年第二季将目前的平均交货时间从40周缩短一半，因为新的产能开始投入使用。这种扩张旨在缓解由于 GPU 短缺而阻碍 AI 服务器供应的供应链瓶颈。
根据 Gartner 研究的数据，全球对 AI 芯片的支出预计今年将达到 530 亿美元，并且在未来四年内将增长一倍以上。因此，芯片制造商正加紧推出新的处理器。然而，没有 HBM，这些处理器可能难以满足 genAI 的高性能需求。