HBM之父金正浩发声:AI性能瓶颈或在内存,而非计算芯片
核心观点:GPU利用率不足,内存成为AI算力短板 近日,被誉为“HBM之父”的半导体专家金正浩在一次公开分享中提出,AI计算的本质瓶颈可能并非来自计算芯片本身,而是内存系统。
核心观点:GPU利用率不足,内存成为AI算力短板
近日,被誉为“HBM之父”的半导体专家金正浩在一次公开分享中提出,AI计算的本质瓶颈可能并非来自计算芯片本身,而是内存系统。他指出,在典型的AI工作负载中,GPU真正用于计算的时间仅占约10%,其余大部分时间都耗费在数据搬运与等待上。这一观点引发了行业对AI芯片竞争格局的重新审视,尤其在高带宽存储器(HBM)已成为AI训练卡标配的背景下,内存技术的突破对提升整个AI系统效率可能具有决定性意义。 金正浩作为HBM技术的奠基人之一,其言论在半导体行业具有较高关注度。目前,全球主要AI芯片厂商如英伟达、AMD、英特尔等均在其旗舰产品中采用HBM方案,以缓解内存带宽瓶颈。但根据本次已确认的观点,即使采用HBM,GPU的计算资源仍有相当比例处于空闲状态,等待数据从内存中传输。这意味着,当前AI基础设施的投资回报率可能存在被低估的风险。
产业背景:AI芯片竞争已从算力扩展至内存子系统
近年来,AI芯片领域的竞争焦点逐渐从单一的算力指标转向更复杂的系统级优化。根据本次新闻标题提及的背景,AI芯片厂商在追求更高算力的同时,不得不面对内存墙(Memory Wall)带来的限制。数据显示,根据IDC的预测,2025年全球AI芯片市场规模可能超过700亿美元,其中针对数据中心AI训练的GPU依然是最大细分市场。而HBM作为高带宽解决方案,其市场增速同样惊人,据市场研究机构Yole Group统计,2023年HBM市场规模约40亿美元,预计到2028年可能增长至超过200亿美元,年均复合增长率超过30%。 在技术层面,HBM通过堆叠DRAM芯片并使用硅通孔技术提升带宽,但其延迟和功耗仍然制约着整体系统效率。金正浩的言论暗示,即使使用当前最先进的HBM3E标准,GPU的算力依然无法被充分利用。这为下一代内存技术(如HBM4或CXL内存池化)提供了明确的技术演进方向。值得关注的是,三星、SK海力士和美光等主要内存厂商均在加速HBM产能扩张,根据SEMI的行业观察,2024年全球HBM资本开支可能接近100亿美元,这一趋势有望在未来数年内改变AI服务器的硬件架构。
产业影响:系统级设计或成未来竞争胜负手
金正浩的观点可能引发AI芯片行业对系统设计理念的调整。如果GPU有效计算时间仅有10%,那么提升内存带宽、降低数据搬运延迟所带来的性能增益,或许比单纯增加GPU核心数或提升频率更为显著。这对于正在研发AI芯片的初创公司而言是一个值得考虑的突破口——在性能竞赛中,通过优化内存子系统有可能实现差异化竞争。 从供应链角度来看,内存厂商在AI产业链中的地位可能进一步提升。根据Gartner的预测数据,到2027年,约40%的AI服务器采购支出可能流向存储和内存解决方案,高于2023年的约25%。这一结构性变化意味着,原本由GPU厂商主导的AI硬件生态,可能会迎来内存技术和系统互连技术的多方博弈。尤其是对于中国半导体产业而言,在高端GPU受出口管制限制的背景下,内存技术路线或许能提供另一条可竞争的路径。
数据参考
- 全球AI芯片市场规模:根据IDC预测,2025年可能超过700亿美元(本次新闻未公布此数据,为行业背景参考)
- HBM市场规模:据Yole Group统计,2023年HBM市场规模约40亿美元,预计至2028年或增长至超过200亿美元,年复合增长率超30%(本次新闻未公布,为行业背景参考)
- GPU有效计算时间占比:金正浩指出约10%(已确认来自本次新闻标题和摘要信息)
- HBM资本开支:据SEMI统计,2024年全球HBM资本开支可能接近100亿美元(本次新闻未公布,为行业背景参考)
- 服务器采购支出结构变化:据Gartner预测,至2027年约40%的AI服务器采购支出可能流向存储和内存,高于2023年的约25%(本次新闻未公布,为行业背景参考) #AI #HBM #GPU #内存瓶颈