DDR5太贵！Meta自研CXL芯片，旧DDR4内存再战新服务器

由于供不应求，DDR5内存的价格近期屡创新高。为了节省成本，Meta公司正在从旧服务器中回收旧式DDR4内存，并利用其自主研发的Vistara ASIC芯片将其安装到新机器中。该芯片能够将旧内存模块连接到其最新服务器，这些服务器运行的是仅支持DDR5内存的AMD EPYC“Turin”处理器。

有趣的是，Meta并非唯一一家开发此类解决方案的公司。韩国初创公司Panmnesia开发了一款现成的CXL控制器和交换机，使服务器能够在不增加延迟的情况下连接更大的内存池，这使得Panmnesia的解决方案区别于其他竞争的CXL产品。

定制ASIC芯片使DDR4内存能够与新型服务器兼容

Vistara 是 Meta 的首款定制 CXL 内存扩展 ASIC，旨在将过时的 DDR4 内存连接到现代服务器。该芯片通过 PCIe 5.0 x16 接口实现CXL 2.0 Type-3 内存扩展，并将标准 DDR4 RDIMM 连接到主机处理器。每个 ASIC 支持两个独立的 72 位 DDR4 内存通道，使用 64 GB DIMM 时最高可提供 256 GB 的容量。目前，Meta 使用从报废服务器回收的 32 GB DDR4 内存模块，每个 ASIC 部署 128 GB 的容量。

Meta 在其 MemServer 平台上部署了 Vistara 芯片，该平台由两块 ASIC 芯片通过 PCIe 5.0 x8 连接线连接至一颗 158 核 AMD Turin 处理器组成。每台服务器配备 768GB DDR5-6400 本地内存和 256 GB CXL 连接的 DDR4-2400 内存，从而将内存容量扩展至 1 TB。软件栈将 CXL 内存透明地暴露为一个独立的 NUMA 节点，使 Linux 能够将冷访问页面迁移到速度较慢的 DDR4 层（带宽为 76 GB/s），并将频繁访问的数据保留在本地 DDR5 内存（带宽为 614 GB/s）中。

该ASIC芯片基于三个RISC-V处理器内核，用于安全启动、设备初始化、固件管理和健康监控。Meta公司声称，他们优化了CXL控制器和内存流水线，从而降低了协议开销，最大限度地减少了排队延迟，并将空闲往返延迟降低到约50纳秒。该芯片还集成了先进的可靠性功能，包括里德-所罗门双符号纠错和4倍芯片级保护。

不仅仅是Meta的Vistara

Meta并非唯一一家希望将旧式DDR4内存连接到采用DDR5内存的新型服务器上以节省成本的公司。虽然Vistara目前仅供Meta使用，但Panmnesia公司即将推出的新型CXL扩展器解决方案将面向其他公司开放。

Panmnesia首席执行官郑明洙表示：“人们一直认为，在CPU和设备之间添加交换机会难以满足这些系统所需的内存访问延迟，因此，尽管直接连接的多头设备（MHD）扩展性较差，但它们仍然是主流选择。我们的研究表明，这并非CXL或CXL交换机的固有局限性，而是早期CXL技术的特性，随着标准及其相关产品的成熟，这种特性会逐渐消失。借助搭载我们下一代CXL控制器的交换矩阵交换机，可扩展性、低延迟和稳定的性能可以兼得。”

CXL 是一种基于 PCIe 物理接口的协议。因此，许多早期的 CXL 实现都是通过修改现有的 PCIe IP 构建的，这也导致这些实现继承了针对 PCIe 而非内存语义通信优化的架构特性，从而显著增加了延迟（Panmnesia 指出）。相比之下，其新的 CXL 控制器 IP 采用重新设计的数据路径，用共享缓冲区取代了单独的层级缓冲区，从而消除了大部分同步开销。此外，它还在整个协议栈中进行了额外的延迟优化，以抵消交换机引入的额外跳数。

配套的 CXL 交换矩阵引入了基于端口的路由 (PBR) 技术，突破了 PCIe 和早期 CXL 实现中使用的传统分层路由 (HBR) 的树状拓扑结构限制。该交换矩阵同时支持 PBR 和 HBR，从而实现灵活的系统拓扑、优化的流量路由和稳定的性能。在实际应用中，这使得像 Meta 这样的公司能够在现代服务器中安装更多 DDR4 内存，而不会因高延迟而导致性能大幅下降。

Panmnesia 声称，虽然早期的 CXL 部署只能将少数计算节点连接到共享内存池，但其架构可扩展到多达 64 个节点，这意味着对于通常运行数千台服务器的超大规模数据中心而言，其灵活性更大，但现在这些数据中心必须合理化使用昂贵的 DRAM。

Panmnesia公司表示，其下一代CXL技术正朝着商业化方向稳步推进。该公司已推出用于PCIe 6.4/CXL 3.2融合交换机的预发布芯片，并完成了PCIe 7.0/CXL 4.0组合IP的开发，该IP支持CXL 4.0规范引入的最新特性。