SK海力士：定制HBM推理性能最高提升5.15倍

SK海力士将计算能力进一步融入高带宽内存（HBM）。该公司表示，一种在基底裸片中集成计算功能的定制HBM架构，最高可将大语言模型推理性能提升5.15倍；当下，数据搬运正日益成为制约计算性能的瓶颈。

在2026年台北半导体展的存储高管峰会上，SK海力士内存系统研究院高级副总裁、院士Ho‑shik Kim表示，内存正从一款主要优化成本与容量的器件，转变为决定系统性能的核心要素。

SK海力士梳理了三类将计算向数据侧迁移的新兴技术方案：基于CXL的近内存计算（CXL‑PNM）、定制化HBM，以及DRAM内计算。

多智能体工作流的词元生成量最高可提升15倍，将推高KV缓存的需求。

在定制HBM方案中，计算功能被集成至HBM基底裸片，减少GPU与HBM之间的数据搬运。SK海力士表示，该架构最高可将大语言模型推理性能提升5.15倍。

随着HBM基底裸片本身的功能愈发复杂，这项技术的落地机遇也在扩大。Kim称，从HBM4开始，基底裸片将采用逻辑工艺制造，而非内存工艺。除内存控制器、物理接口与硅通孔（TSV）连接之外，基底裸片还可以集成更多附加功能。

该方案体现出行业的一大主流方向：解决现代计算领域最大的效率短板之一 —— 内存与处理器之间的数据搬运。Kim引用相关研究指出，从DRAM读取数据所消耗的能耗，远高于执行算术运算。2.5D集成技术将内存贴近处理器，HBM已经降低了这部分开销；但SK海力士认为，更深度的集成还可以进一步压低功耗。

Kim介绍，当前2.5D HBM的数据搬运功耗约为每比特2‑3皮焦；未来3D方案（例如将DRAM直接堆叠在NPU之上）的目标功耗约为每比特0.2‑0.3皮焦。

市场转向智能体工作负载

与此同时，市场正从训练超大模型，逐步转向推理与智能体类工作负载，内存瓶颈也随之发生变化。

SK海力士表示，智能体会反复执行步骤、保存越来越多的上下文，多智能体工作流生成的词元数量最高可达传统工作负载的15倍。因此，内存需求越来越取决于业务复杂度，而不只是模型本身的规模。该公司给出一组场景测算：1000个智能体，每个使用32K上下文，约需要10.5TB的KV缓存容量，大致相当于英伟达NVL72系统HBM总容量的一半。

Kim表示，推理服务要处理更长上下文、更多用户、多轮对话，KV缓存正在成为尤为突出的性能约束。过去内存主要存放模型参数，现在还需要保存上下文、中间状态，以及多个智能体之间共享的信息。

这种转变，让内存容量与带宽本身成为衡量系统性能的核心指标。SK海力士以英伟达H100、H200加速器举例：两款芯片峰值算力一致，但HBM配置差异巨大。H200的内存带宽高出约43%，内存容量高出76%。根据SK海力士的演示材料，这带来推理性能平均提升42%，部分工作负载性能涨幅最高可达90%。

这组对比凸显一个现实：当处理器持续受限于内存的速度与容量时，单纯增加算力资源，越来越难提升系统整体性能。

除定制HBM之外，SK海力士也在探索CXL‑PNM方案，即在内存控制器附近部署计算单元；同时还在研究更前沿的技术，复用现有DRAM电路实现基础计算功能。

内存正在计算体系中扮演更重要角色

内存同样在跨计算资源的数据共享环节承担更大作用。

推理架构越来越普遍将预填充（Prefill）与解码（Decode）操作拆分到不同计算集群。预填充阶段生成的大容量KV缓存，需要提供给解码阶段使用。在集群之间反复搬运缓存，会带来额外的带宽开销、延迟与功耗。

SK海力士提出内存池化作为解决方案：多个处理器可以访问同一片共享内存空间，无需在系统之间反复拷贝相同数据。该公司提到，现阶段采用横向扩展互连实现虚拟HBM内存池；下一步将基于CXL实现Fabric直连内存池。文中举例，阿里云Beluga架构、SK海力士Niagara平台，都是面向KV缓存、数据传输与共享的CXL共享内存方案。

Kim将上述变化概括为内存中心计算时代：内存越来越决定一套系统能够承载多大的业务负载，并且承接过去几乎专属于处理器的部分功能。

行业不再单纯依靠更强的处理器来提升性能，内存也不再只承担存储职能，正在演变为存储、计算、共享基础设施的结合体。