
受供给紧张、成本飙升影响,HBM承受的压力持续加大。AI热潮催生了各类替代内存技术,CXL(Compute Express Link,计算快速互联)成为其中重要候选方案。不过,OpenAI、Intel高管近日的发言表明,一方面缺少AI模型实际运行的落地场景;另一方面,CXL与HBM之间存在巨大的带宽差距。
CXL是新一代互联技术,可以把额外内存资源接入计算系统,实现跨服务器内存池化与内存共享,以此扩充内存容量。AI加速器可以经由CPU访问CXL外接内存,提供更加灵活的容量扩容方案。部分行业观察人士认为,如果CXL大规模落地,能够减少对昂贵HBM的使用量,同时不会大幅牺牲系统性能,有望降低大型AI服务器的部署成本。
有两大关键障碍限制CXL去抢占HBM的市场空间。负责AI加速器设计的OpenAI研究员Daniel Morris,以及Intel AI SoC架构负责人Vidhya Thyagarajan指出:一方面缺少AI模型实际运行的落地场景;另一方面,CXL与HBM之间存在巨大的带宽差距。
Daniel Morris在圆桌论坛上表示:“从AI模型实际运行的角度来看,我找不到CXL的适用场景。” 他补充道:“如果要给CXL分配定位,它只能用来存储大模型里很少访问的非活跃数据。和大家的预期不同,目前我还没有看到专门用于模型运行的实际落地案例。”Vidhya Thyagarajan则称:“CXL内存扩展方案虽然有价值,但它无法替代HBM,只能作为二级存储的补充。GPU之间通过CXL传输数据的速度,远远比不上HBM。”
在此背景下,即便CXL在AI内存分层体系中逐步得到应用,HBM市场格局大概率不会发生大的改变,三星电子与SK海力士依旧可以维持在HBM赛道的领先地位。
尽管CXL难以挑战HBM的核心地位,SK海力士与三星仍在持续打磨这项技术,将其视作AI内存架构中新的层级。今年6月SK海力士对外公布ITME(推理分层内存扩展)架构,这套方案在现有基于HBM的AI内存栈里,于DDR与SSD之间插入CXL混合内存。
arXiv论文内容:把传统 “HBM→DDR→SSD” 内存层级拓展为 “HBM→DDR→CXL内存→SSD” 之后,这家存储巨头实现AI推理效率提升35.7%。在新架构下,CXL内存充当内存枢纽,预判HBM、DDR即将需要用到的热数据,提前从SSD读取数据并输送到高速内存层级。
面对这一技术趋势,三星电子和SK海力士不仅推进CXL架构研发,也同步开发配套内存产品。三星计划在今年年底量产基于最新CXL 3.2规范的CMM‑D(CXL内存模块‑DRAM)3.0。SK海力士已经推出基于CXL 3.2的第二代CMM‑DDR5样品,并开启与潜在客户的供货洽谈,但尚未公布明确的量产时间表。
此外,三星电子此前还展示了下一代AI内存zHBM的构想,目标将AI加速器响应速度提升10倍。三星美国存储产品规划负责人Kim In-dong表示:“当前对话式AI系统,单用户每秒可处理100个token。我们的目标是实现跨越式提升,达到每秒1000个token,以此支撑智能体类AI应用。”他介绍,zHBM将HBM直接垂直堆叠在AI加速器之上,好比 “在酒店房间到一楼大堂之间装一部专属电梯”,性能最高可达HBM5的8倍,能效提升3倍。三星同时宣布,3D存储方案zNAND-O计划在2028年开始送样。
本文转自媒体报道或网络平台,系作者个人立场或观点。我方转载仅为分享,不代表我方赞成或认同。若来源标注错误或侵犯了您的合法权益,请及时联系客服,我们作为中立的平台服务者将及时更正、删除或依法处理。
