3D DRAM：在SRAM与HBM之间寻找AI内存第三条路

当前AI工作负载有两种主流内存技术：SRAM和HBM。

SRAM速度快，但容量无法扩展、漏电流更高，成本是HBM方案的100倍。

HBM能提供大模型所需的高容量，但随着功耗、工艺和封装限制的介入，扩展HBM带宽颇具挑战。目前领先的HBM4 DRAM方案提供约20 TB/s带宽，与Corsair SRAM加速器等SRAM方案的300 TB/s相去甚远。

一个100 TB/s的HBM方案在2.4 pJ/bit下仅HBM本身就需要1.92 kW功耗。因此，思路是将技术推进到下一个演进阶段——3D DRAM。

内存技术对比

d-Matrix提出了两种3D DRAM实现方式：一种是将堆叠DRAM置于逻辑芯片上方，另一种是将DRAM裸片堆叠在逻辑芯片下方。第一种方式面临散热挑战——加速产生的热量必须穿过对热敏感的DRAM堆叠散出；第二种方式面临供电挑战——数百瓦功率需要通过DRAM堆叠中的TSV输送。

据称，逻辑芯片在上的单层堆叠在功率密度低于0.5 W/mm²时，可以通过可靠的液冷将DRAM温度控制在100°C以下，同时满足供电需求。

那么为什么选择3D DRAM？d-Matrix声称，采用计算在内存上堆叠的3D DRAM可提供类SRAM的带宽和功耗特性。容量低于HBM，但占用空间更小，且容量超过SRAM方案。四层及以下的3D DRAM良率更好、带宽高得多、没有PHY或岸面空间限制，运行能耗仅为HBM的十分之一。

Raptor 3D DRAM技术规格

这套名为Raptor 3D DRAM的方案基于高性价比工艺技术：逻辑裸片采用台积电4nm（N4）工艺，底层裸片采用3D DRAM，通过36 µm面对面（F2F）堆叠集成，实现低成本、高产量和高良率。每张3D DRAM卡以0.37 pJ/bit提供100+ TB/s带宽（32 GB），而192 GB HBM4 DRAM方案以2—3 pJ/bit提供18 TB/s带宽。Raptor带宽高5.6倍，能耗低5—8倍，I/O密度高7倍。

但3D DRAM本身存在多种集成挑战。d-Matrix重点关注其中几个：

• I/O功耗：无突发结构、无PHY DBI

• Bank到通道映射：840个bank不等于256×4

• 不破坏通道对称性的冗余设计

• 散热：Tj=105°C导致刷新快8倍

为降低能耗，d-Matrix的做法不是用几个大型脉动阵列而计算引擎上没有数据，而是将张量引擎与DRAM馈送的bank进行间距匹配。

每个chiplet上共有256个张量引擎，d-Matrix将bank与张量引擎间距匹配，以减少数据搬运量。但张量引擎期望的原生flit大小（128字节flit）与DRAM供应的（每bank每列32字节）之间存在不匹配。每个通道有三个bank，最终只能获得96字节，而chiplet期望128字节。Raptor可以过度获取，但这样会浪费大量带宽。

第二个问题是I/O功耗墙。即使将功耗降至每比特0.37 pJ，如果要将带宽推至100 TB/s，I/O功耗仍达300 W。而且与HBM不同，这里使用单周期flit。

逻辑芯片放在顶部，原因是这样更容易安装冷板并带走热量。但3D DRAM的设计结温为105°C。为适应这一点，它的刷新速度快8倍。温度升高时，DRAM开始漏电。与标准DRAM相比，3D DRAM每4毫秒刷新一次。

下一个问题是良率。在3D DRAM中，每个微bank都设计得非常小：1366行、各5.33 MB。这样做的结果是DRAM仅损失1.37%的内存带宽。为解决RAS问题，逻辑裸片上配备了强大的纠错码——Reed-Solomon T=2纠错码，本质上可以纠正128字节中的两个符号错误。

在结论中，d-Matrix将Raptor 3D DRAM与搭载HBM4的NVIDIA Rubin R200平台进行了对比。在83%—85%的有效带宽利用率下，Raptor 3D DRAM相比NVIDIA HBM4方案提供了23.4倍的带宽（GB/s/mm²）和13.5倍的功耗效率（mW/GB/s）。

以Raptor系统为代表的3D DRAM提供了一个引人注目的中间地带：它结合了接近SRAM的带宽和能效，以及远超纯SRAM方案的容量，同时避开了HBM的带宽、功耗和岸面空间限制。

通过短距离垂直互连将逻辑芯片堆叠在定制DRAM之上，它以比HBM好约一个数量级的pJ/bit提供100 TB/s带宽，特别适合主导现代LLM和智能体工作负载的内存带宽受限型解码阶段。在实际机架级部署中，容量足以满足当今大模型需求，而bank映射、网络拓扑、协议、散热和可靠性方面的协同设计创新使该技术能够有效扩展。

总体而言，3D DRAM为更快、更高效的推理加速器提供了一条实用路径，平衡了容量、带宽和功耗之间的竞争需求。现在的问题是：其他DRAM厂商多久能推出自己的3D DRAM创新？