
Celestial AI此前提出的远距离高带宽内存(HBM)构想,即将成为现实。Marvell Technology与系统集成商Penguin Solutions达成合作,共同开发一套光子内存互联(Photonic Fabric)系统。今年2月,Marvell以35亿美元收购了Celestial AI的相关技术。该技术的核心是一种内存扩展模块,集成了两组HBM3e堆栈,总容量达到72GB,同时支持8个DDR5通道。整个模块构建在硅光子中介层之上,双向带宽达到7.2Tbps(900GB/s)。
Marvell光子互联业务高级副总裁Preet Virk表示,该公司向Penguin提供名为Photonic Fabric的内存模块,由Penguin负责整机设计、电源管理、软件开发以及管理层的构建。Penguin首批基于该技术的设备将支持16个内存模块,最高可提供16TB DDR5和1TB HBM。未来系统的DDR5容量还能够在此基础上进一步扩展至两倍。
在互联能力方面,每台设备通过Marvell设计的光纤交换结构(Optical Fiber Shuffle),可提供57.6Tbps的总带宽,最多支持连接16台服务器。服务器可以通过网卡接入,也可以采用共封装光学(CPO)或近封装光学(NPO)模块实现连接。
CPO和NPO是实现光互联的重要技术路径。CPO模块通常直接集成在计算芯片或交换芯片(ASIC)中;NPO则采用相对灵活的连接方式,通过电连接接入CPU、GPU或其他ASIC,再通过光连接接入互联网络。与将光子芯粒直接集成到CPU或GPU中的方案相比,NPO在设备维护和故障影响范围控制方面具有一定优势。因此,NPO预计将在英伟达和AMD下一代机架级系统中发挥重要作用。
在软件层面,Penguin开发的软件能够让每台服务器访问整个系统的共享内存空间。这一机制类似于服务器连接网络附加存储(NAS),连接设备可以访问整个存储系统的容量,而不局限于自身配置的资源。据了解,目前这一功能的部分实现依赖兼容CXL 3.1标准的网卡和主机CPU,例如AMD新一代Venice处理器。不过,Marvell方面表示,对于采用NPO和CPO的内存连接方案,可以完全绕过CXL。这一技术的核心价值在于内存资源池化。当多台服务器能够共享同一内存资源池时,每台服务器就不必单独配置大量DRAM,从而有望降低硬件成本,提高内存资源利用效率。
除了实现内存资源共享,Penguin开发的软件还支持多种内存分层模式,客户可以根据自身需求,将不同内存资源分配给接入系统。这些模式大多遵循CXL内存分层的常规机制,其中一项特殊功能是HBM缓存直通模式(HBM Cache-through)。Virk表示,该模式能够让用户同时获得HBM的高性能和DDR5的大容量。具体而言,系统将HBM作为读写缓存使用:频繁访问的数据首先写入或从HBM中读取,随着数据访问频率下降,再将其转移至标准DDR5内存。
Marvell和Penguin还将这套光子内存设备定位为基于存储的键值(KV)缓存卸载方案的替代选择。在AI推理过程中,模型需要生成大规模KV缓存,用于记录不同对话会话以及长时间运行的智能体任务中的模型状态。根据上下文长度的不同,KV缓存不仅占用大量内存,而且重新计算的成本也较高。因此,系统通常会将不活跃的KV缓存卸载至DRAM或闪存中。相比重新计算,在会话恢复时直接存储和复制已有缓存通常更加高效。Marvell认为,如果能够将HBM中的KV缓存直接卸载至光子内存扩展设备,客户就有望获得更好的性能表现,同时提高内存资源利用率。
除了AI相关工作负载,这项技术还可能减少单台服务器所需配置的DRAM容量。此前,行业已经开始探索通过集中式内存设备缓解DRAM供应紧张和成本上涨压力,Meta也已在其数据中心采用类似思路。
随着AI模型规模持续扩大,服务器对内存容量和带宽的需求不断增长。传统架构下,内存资源通常与单台服务器紧密绑定,容易出现部分服务器内存资源不足、另一些服务器内存利用率偏低的情况。光子内存互联通过高速光连接和内存池化,让多台服务器能够按需共享内存资源,为数据中心提供了不同于传统本地内存配置的扩展路径。Marvell预计,Penguin首代Photonic Fabric内存扩展系统将于2027年下半年推出。
本文转自媒体报道或网络平台,系作者个人立场或观点。我方转载仅为分享,不代表我方赞成或认同。若来源标注错误或侵犯了您的合法权益,请及时联系客服,我们作为中立的平台服务者将及时更正、删除或依法处理。
