高带宽内存(HBM)是生成式AI得以发展的关键支撑,它突破AI加速器封装内部的内存瓶颈,大幅提升系统性能。然而,随着超大规模AI集群集成数千颗GPU与HBM内存堆叠模组,新的瓶颈随之出现:带宽墙,它限制了跨系统之间的数据传输能力。
在此背景下,SK海力士联合全球多家研究团队,在《自然・电子学》期刊发表了相关论文。该论文探讨高性能计算与AI领域中共封装光学(CPO)技术的发展,梳理关键技术难题,并勾勒下一代光互连技术的发展路线。其中,SK海力士AI基础设施团队负责人Seunghoon Hong,以及弗吉尼亚大学(UVA)电气与计算机工程系Kyusang Lee教授担任该论文的通讯作者 。来自伊利诺伊大学厄巴纳‑香槟分校(UIUC)、南洋理工大学(NTU)、麻省理工学院(MIT)、延世大学的研究人员共同参与这项联合研究。
从更宏观的视角,这篇论文给出一套完整技术路线:内存、先进封装、光计算互连(OCI)应当协同演进,以此支撑下一代AI系统。尤为重要的是,论文也展现出SK海力士不再局限于HBM技术创新,正从系统层面参与定义下一代AI基础设施架构。
超大规模AI模型已经不再在单颗芯片或者单台服务器上完成训练,而是运行在由大量机架、机柜组搭建的庞大网络之中。在这类架构下,整机系统性能,不只取决于处理器、内存、AI加速器之间的连接,机架与机架之间的数据搬运效率同样至关重要。

计算吞吐量大约每两年提升三倍,但互连带宽仅提升约1.4倍,由此催生 “带宽墙”。
实际情况显示,计算吞吐量每两年可增至原来三倍,但同期互连带宽仅提升1.4倍,带宽墙带来的挑战愈发严峻。传统基于铜介质的电互连负责芯片封装外部、跨机架的数据传输,传输距离增加时,信号损耗与功耗会急剧攀升,因此它越来越被视作下一代AI数据中心的性能制约因素。
“就算计算芯片性能持续变强,如果芯片之间的数据搬运跟不上,整套系统的性能依旧无法提升。”Kyusang Lee教授表示,“铜互连存在与生俱来的物理局限,用光链路替代铜互连,是实现未来系统扩容最有前景的方向。”

CPO将光引擎尽可能靠近处理器集成。电信号传输距离被压缩,带宽与能效同步得到改善。
带宽墙对AI基础设施的约束越来越突出,论文将CPO定位为破解该难题的核心技术。SK海力士AI基础设施团队负责人Seunghoon Hong这样解释这项技术:“CPO把光收发器(TRx)和处理器集成在同一个封装内,芯片之间依靠光信号交换数据,摒弃长距离电互连。这从根本上改变AI系统的数据传输模式,扫除算力扩容道路上最大阻碍之一。”
短距离场景下,传统铜质电互连依旧具备成本优势。但随着传输速率提升、通信距离拉长,就需要越来越复杂的补偿电路,带来更高功耗,同时增大数据传输延迟。CPO将光引擎集成在封装内部,最大限度缩短高速电信号的传输距离,剩余传输路径改用光链路。由此,跨芯片、跨机架、跨机柜组都可以实现高速通信,同时兼顾高带宽密度、优异能效、出色信号完整性,抗电磁干扰能力更强。
基于这套架构,研究人员提出下一代AI基础设施清晰技术指标:单节点带宽大于100太比特每秒,每比特能耗低于1皮焦耳,芯片到芯片延迟小于10纳秒。论文同时给出完整技术演进路线,涵盖二维架构、基于2.5D中介层方案、三维异构堆叠,并且梳理实现商业化落地必须攻克的各项关键技术难题。

以光为中心的架构概念示意图:光子中介层通过光链路,直接把算力池内的XPU计算单元与内存池内的内存资源连接在一起。
长远来看,CPO技术的演进目标,是把光互连一直延伸到内存接口。这套 “以光为中心” 的架构突破传统封装的物理限制,借助光子中介层直接连接内存与处理器,最大化整套系统的数据传输效率。
采用该架构,多颗AI加速器可以共享一个大容量内存池。不仅实现系统层面更灵活的数据调度,当AI模型持续变大时,AI基础设施也可以更高效地完成扩容。
“光互连很有可能成为未来AI基础设施的基础连接技术。”Lee教授谈到,“该技术已经走出实验室,进入商业化早期阶段。但仍有大量难题亟待解决:低功耗光器件集成、一致性协议开发、系统可靠性提升。归根结底,关键在于把内存器件与控制器、光子器件、封装方案作为一整套完整系统协同设计。这也正是我们和SK海力士开展合作的重大价值所在。”
Hong补充道:“本次合作意义重大,汇聚学术界研究积累与产业实战经验,共同描绘AI基础设施的未来蓝图。我们会持续推进开放协作,为客户以及更广泛的AI产业生态创造实际价值。”
本文转自媒体报道或网络平台,系作者个人立场或观点。我方转载仅为分享,不代表我方赞成或认同。若来源标注错误或侵犯了您的合法权益,请及时联系客服,我们作为中立的平台服务者将及时更正、删除或依法处理。
