HBM越堆越烫！侧向堆叠内存或是最优解

GPU与其他大型AI芯片始终面临内存供给不足的困境。当前数据中心服务器采用12层DRAM垂直堆叠的高带宽内存方案。但存储厂商为提升容量与带宽，不断增加堆叠层数时，业内专家担忧这类高带宽内存（HBM）会因积热严重，最终过热失效。倘若芯片厂商选择将HBM堆叠在本身发热量大的处理器上方以提升带宽，而非放置在处理器侧边，散热危机将会愈发严峻。

全球工程师正攻关另一套技术方案：不再将DRAM裸片层层垂直堆叠，转而采用侧向并排堆叠的设计。业界希望通过该方案，把未来极易积热的超高堆叠内存，改造为散热性能优良的硅立方存储模组。

在上月举办的IEEE超大规模集成电路研讨会（IEEE VLSI Symposium）上，两支研究团队分别公布了两种侧向堆叠存储技术路线。韩国研究团队预测，名为V-Die的侧向堆叠存储方案，相比当下最先进的HBM4内存，数据处理速度可提升82%；日本研发团队则表示，其自研MOSAIC方案的存储容量可达HBM4的两倍，且芯片峰值温度仅小幅上升1℃左右。

HBM现存技术痛点

现有HBM架构由多层DRAM硅裸片堆叠在基底裸片上构成。基底裸片负责为堆叠层供电，并协调裸片与处理器之间的数据交互。数据与电力依靠贯穿各层裸片的垂直互连通道——硅通孔（TSV）在堆叠层内传输；各层裸片之间、裸片与基底裸片之间，通过与硅通孔相连的微型焊球实现导通。

以英伟达B300这类典型AI加速器为例，芯片两侧各搭载8组12层堆叠HBM，单组存储容量36GB。所有HBM堆叠单元与GPU置于同一块基板，通过宽度2048微米的金属走线，跨越数毫米间距完成互连。这套HBM4架构每秒可在GPU与内存间传输2800GB数据。

但该方案的性能上限终将无法匹配未来需求。韩国蔚山国立科学技术院（UNIST）博士生Heesoo Yang在研讨会上表示：“AI模型规模正呈爆炸式增长，而内存容量与带宽的提升速度难以跟上，形成了严重的性能瓶颈。”

HBM最亟待解决的难题是发热问题。填充在裸片间隙的介质导热系数，仅为硅基板的百分之一左右，热量难以向上传导至处理器封装的散热装置进行散出。业界虽存在部分缓解方案，但随着厂商不断增加堆叠层数扩充容量，积热问题只会持续恶化。

蔚山国立科学技术院Jimin Kwon实验室的Yang还指出，另一项远期隐患在于：堆叠层数提升后，存储容量与带宽之间会出现难以调和的取舍矛盾。更高的堆叠层数需要布设更多硅通孔传输数据，会挤占存储单元的有效硅片面积。

V-Die存储方案

上月，Jimin Kwon团队联合大田韩巴国立大学的Seongju Kim，推出了一套可解决HBM远期散热与容量矛盾的V-Die方案。该方案采用垂直排布DRAM裸片，并在裸片之间集成微流控冷却通道，可将芯片工作温度稳定控制在45℃，远低于常规HBM80℃以上的峰值温度。

Yang介绍，该方案的裸片结构经过重新设计：省去硅通孔（TSV）垂直互连结构，大幅释放硅片面积用于集成更多存储单元；同时每颗裸片独立配备输入输出（I/O）模块，不再需要基底裸片。整套I/O模块沿裸片底边排布，通过间隔20微米的互连通道与搭载GPU的硅基板相连。团队测算，该互连架构的通路数量是HBM4的4倍，内存读取延迟降低37%，代价是部分数据需要多传输数毫米才能抵达处理器。

研究团队针对搭载英伟达H100GPU的AI服务器，仿真测试了16层堆叠V-Die架构的性能。在运行GPT-3量级大语言模型负载时，同等存储容量下，V-Die系统每秒可生成540个文本token，而HBM4仅能输出296个；同时首token生成延迟下降32%，缩短约24毫秒。

目前用于验证热性能与电气特性的原型芯片正在研发中。

侧向堆叠互连技术难点

这类三维DRAM方案也被称作立体DRAM，制造流程为先将裸片垂直堆叠，再把整套堆叠结构横向放平，实现与基板或其他芯片的互连。比利时微电子研究中心（Imec）项目主管James Myers表示，该工艺会带来复杂的集成难题。Myers团队此前已攻克GPU上堆叠DRAM的散热问题，如今正研究垂直裸片在该场景下的落地应用。他提到：“裸片厚度必须做到极致精准，即便各DRAM裸片之间仅存在数微米的厚度差，堆叠后也会造成基板互连失效。若堆叠内多颗裸片厚度参差不齐，最终会出现焊盘无法对准的问题。”

来自东京大学、东北大学与日本国立科研机构理研（Riken）的联合团队，在IEEE VLSI研讨会上公布了一套可缓解该难题的创新方案。团队没有将裸片底部直接与基板电气连接，而是采用电感耦合收发系统：在存储裸片一侧制作尺寸约80微米×240微米的椭圆形电感线圈，同时在基板上垂直布设配套线圈；电流通过一侧线圈产生磁场，即可向另一侧线圈传输数据信号。线圈无需严格精准对位，大幅放宽了存储模组与基板的装配公差要求。

东京大学博士生Yuki Mitarai在研讨会上补充，供电线路数量更少、占用面积更大，因此统一布置在存储立方模组的侧边。

MOSAIC方案专为堆叠在GPU上方设计，单颗立方模组可集成98层裸片，总存储容量294GB。该方案未搭载微流控冷却结构，但热量可通过硅鳍片自然向上散出，芯片峰值温度可控制在81.3℃，接近当前HBM普遍80℃的温度上限。Mitarai还表示，若将DRAM裸片厚度削减三分之二至100微米，同款体积的MOSAIC立方模组可集成294层裸片，总容量提升至882GB。