HBM4不再“一模一样”，定制内存开始崛起

随着HBM4的推出，定制裸片成为一种可选方案。内存厂商通常会设计HBM中的所有堆叠层，但对于定制裸片，谁来设计？谁来制造？最终的堆栈又由谁来组装？事实证明，这些问题的答案将取决于各方的协商。

定制化HBM方案（有时简称为cHBM）允许企业将内存纳入整体XPU（CPU/GPU/NPU）定制计划，根据需求进行调整。在内存供应已经紧张的情况下，再给本就面临挑战的常规HBM业务增加定制内存，似乎会让情况更加棘手，但定制HBM不太可能进一步加剧供应压力。此外，近期出现的一些方案也在尝试绕开供应短缺。

归根结底，在可行的情况下，cHBM关注的是差异化。“你会开始讨论，‘我该如何实现差异化？’”Synopsys产品管理总监Rob Kruger表示，“其中一种实现差异化的方式就是cHBM模式。”

HBM4带来的转折点

高带宽内存（HBM）由许多层组成，除其中一层外，每一层都是内存裸片。最底层的裸片是逻辑裸片，负责管理、寻址以及必须在堆栈内部完成的其他非内存任务。在HBM3及之前的产品中，内存厂商，主要是美光、三星和SK海力士，负责制造堆栈中的所有这些裸片，包括裸片。

“过去，裸片采用的也是与DRAM相同的工艺。”Kruger解释道。

但HBM4改变了这一点。“为了提高功耗和性能，他们转向了逻辑工艺。”

裸片需要转向更加先进的FinFET工艺（可能是4nm或更先进的工艺），而DRAM裸片并没有采用这样的工艺。因此，虽然内存厂商仍然会设计标准裸片，但会由逻辑晶圆代工厂负责制造。随后，内存厂商可以完成堆栈组装、对堆叠晶圆进行切割，并测试最终的堆栈。

这涵盖了标准裸片。除此之外，HBM4及其后续产品还允许用定制裸片替代标准裸片，以更高效地处理特定工作负载。

为什么要定制HBM？

理论上，各行业的许多企业都可能对定制内存感兴趣。内存层本身并不会进行定制，但负责控制的逻辑部分可以定制，这对于芯片和系统架构师而言非常有用。

如果采用标准HBM构建系统，只需要从市场上购买现成产品即可（目前来说，这意味着你和其他所有想购买的人一样）。如果决定定制，那么就不能只是购买所需产品，而是需要投入资金并管理一个芯片设计项目。这立即限制了能够采用这种方式的企业范围。

事实上，这一能力主要面向超大规模云服务商（hyperscaler），原因有三个。首先，它们有足够资金进行这类项目。其次，与Web服务器相比，AI处理涉及的工作负载类型非常有限。甚至可以让机器专门用于处理某一种特定类型的工作负载，而对于Web服务器来说，这种方式效果不会那么好，因为你可能事先并不知道它将处理什么工作负载。

因此，与大多数企业相比，超大规模云服务商更有可能让大量机器专门服务于某一种工作负载。在这种情况下，对主机和内存进行定制就更有意义。

第三个原因在于，尽管可以针对不同工作负载制定标准，但与AI计算快速发展的速度相比，标准化过程需要的时间太长。

Marvell数据中心内存解决方案副总裁Khurram Malik表示，“JEDEC的标准化速度一直比较慢。超大规模云服务商的发展速度要快得多，于是问题就变成了，‘如何根据它们的工作负载定制这些HBM裸片？’”

定制化让这些企业能够随着计算技术的发展同步进行调整，而不必等待正式标准。同时，根据定制的具体内容，这也可能为企业带来差异化优势。

除了超大规模云服务商之外，企业级解决方案也可能加入这一行列。“我们开始看到越来越多的企业客户也在尝试构建自己的扩展处理单元（XPU）。”Malik指出，“目前相关讨论仍处于早期评估阶段。”

一个具体案例

正在推进定制化HBM方案的一家公司是Marvell。该公司设有专门负责定制云计算的部门，并为客户定制XPU。

定制XPU推动了定制内存的需求。

“这是为了支持我们正在开发的定制XPU。”Marvell定制云解决方案高级副总裁Jim Rogers解释道。

并不是所有超大规模云服务商都想做同样的事情，事实恰恰相反。“不同的超大规模云服务商希望拥有自己的裸片间接口。”Malik表示。

该团队针对每个客户生成定制XPU，这意味着可以提供与对应处理器匹配的定制HBM堆栈。但为了减少设计工作，他们尝试创建一个可以与所有定制XPU兼容的单一定制版本。

“我们正在尝试了解不同客户的需求，并研究如何通过单一的HBM产品来满足多个客户的需求。”Malik表示。

封装接口

在定制裸片时，即使不进行其他定制，内存控制器也会从主机转移到裸片上。通常预计，定制版本还会在主机与内存堆栈之间采用经过优化的接口。通过将控制器转移到裸片上，就相当于用一个定制（或不同的）接口“包裹”了标准接口。

“如果采用cHBM，就需要定义如何与HBM控制器进行接口连接，这可能是AXI（Arm的高级可扩展接口），也可能采用其他方式。”Kruger解释道，“但双方必须达成一致。关键在于数据如何传输，采用什么格式和接口。”

这样做还具有参数方面的优势。内存控制器体积较大，而接口拥有大量连接。其中每一个连接都会占用一定的“前沿区域”，即最靠近裸片外部、可以与本地芯片连接的焊球或连接区域。此外，考虑到对定制设计的投入，主机很可能会采用最新的硅工艺节点制造。

图1：在定制HBM中，内存控制器不再需要负责芯片之间的信号传输，因此可以做得更小，从而释放更多裸片边缘的连接空间。来源：Bryon Moyer/Semiconductor Engineering

裸片需要采用比传统DRAM工艺更先进的逻辑工艺，但不需要像主机所采用的工艺那样昂贵。因此，控制器会占用裸片的空间，同时为主机裸片节省空间。但它在裸片上增加的面积成本低于在主机裸片上节省的面积成本，因此总体上能够降低成本。

如果定制接口所需的连接数量少于标准接口，还可以进一步节省成本。内存PHY的区域包括所有用于外部信号传输的焊盘和驱动器。由于控制器已经埋入裸片中，不再连接主机和HBM堆栈，因此不再需要驱动这两个芯片，但它可能仍然需要所有原有信号。然而，由于这些信号不再需要与另一块芯片通信，因此不需要占用焊盘空间，也可以使用复杂度更低的驱动器。

“内存控制器目前位于逻辑计算裸片上。”Malik解释道，“将内存控制器放到定制HBM裸片上，并移除PHY（因为它不再负责芯片之间的驱动），因为PHY是计算裸片上最大的模块，而PHY只是用于连接。因此，移除PHY，并换成UCIe或其他裸片间接口。其面积大约比标准DRAM PHY小70%。这样可以让计算裸片具备多25%的计算能力。它降低了整体功耗，并提高了整个XPU裸片的效率。”

一个关键优势来自连接更多HBM堆栈的能力。“这取决于XPU的裸片尺寸，但现在你拥有更多的内存空间，因此可以连接更多HBM，为这些计算单元提供更大的内存容量。”Malik表示。

内存厂商在这一过程中的角色，是提供“TSV PHY”，这是一种作为裸片TSV模板的IP。以HBM5为例，“你会有2048 bit连接到所谓的TSV5。”Kruger表示，“这是内存厂商提供的IP，它连接到其裸片堆栈，同时也规定如何与这些连接进行接口以及如何执行测试。”

当然，定制可以超越接口本身。企业也可能希望调整其他功能。“RAS（可靠性、可用性和可维护性）有相应标准，但人们对实际需求以及如何实现这些需求都有自己的想法。因此，这也是一个可以进行定制的领域。”Kruger表示，“你会有一个控制和管理单元，其中包含RAS遥测数据的聚合和收集功能。如何将这些信息发送到系统的其他部分，需要进行定义，以了解它如何融入更大的系统。”

谁来设计这些东西？

虽然定制可以仅限于控制器位置的调整，但这种情况不太可能发生，因为既然器件已经开放，在此上进行其他有益的修改会更加简单。但目前并不存在固定的实现方式，每个项目都可能需要协商。

需要考虑的四个基本步骤是：设计、制造（以及晶圆测试）、组装和最终测试。在这四个环节中，设计是最困难的，因为其他环节更多取决于产能。设计需要团队、工具，以及理解大梁内存如何影响性能和功耗的整体方案。

过去，或许会将能够完成此类工作的企业限制在内存厂商或无晶圆厂公司，但如今，超大规模云服务商已经具备深厚的半导体设计知识和能力。

按照这一顺序来看，第一个选择似乎不太可能。内存厂商已经忙于现有业务，再承担定制设计可能并不合适。我们无法代表所有内存厂商（而且大多数厂商都不愿意公开谈论这一问题），但至少有一家企业担心自己会被要求承担定制裸片设计。

SK hynix America封装工程副总裁Jaesik Lee在一次演讲中表示，“现在，客户想要的一切都是定制的，因为他们希望获得更高的带宽。但内存公司需要负责定制HBM的设计和制造，而我们的资源受到了限制。”

Synopsys的Kruger也认同资源方面的问题，并指出完成这类项目需要投入大量工作。“这些企业并没有团队一直闲着，等着去完成所有这些定制设计。”他说，“你需要足够大的规模，才能证明这样的定制开发是合理的，因此仅这一点就会限制参与者的数量。”

如果内存厂商被排除在外，那么剩下的就是无晶圆厂企业和超大规模云服务商。目前还不清楚会有多少无晶圆厂企业参与其中，但鉴于Marvell已经开展相关项目，可以合理预计还会有其他企业采取这种方式。

不过，每一个项目都是定制的。“与最终的超大规模云服务商客户合作确实至关重要。”Malik表示，“即使你可以将不同模块拼接在一起，仍然需要进行调优和优化。而且每一家超大规模云服务商都不一样。”

谁来构建堆栈？

对于标准HBM4，内存厂商从逻辑晶圆代工厂获得经过测试的逻辑裸片，组装堆栈，测试最终产品，然后发货。对于定制版本，内存厂商仍然负责制造堆栈中的内存裸片，但不再拥有裸片的设计权。那么，它们是否仍然会拿到定制裸片并完成堆栈制造？在当前这样的市场环境下，它们是否拥有足够的产能？

事实证明，谁来执行堆栈集成并没有统一答案。每个项目都将通过内存厂商、逻辑晶圆代工厂，以及可能具备堆栈键合能力的组装厂之间达成协议来启动。对于HBM4E及之后的产品，至少对于16层堆栈而言，预计将采用混合键合。具体由谁负责整个流程，则可能因项目而异。

“针对不同客户，存在不同的业务合作模式。”Malik表示，“一些客户会把逻辑部分的全部所有权交给负责设计的企业，同时自己完全负责集成。一些客户会让逻辑团队承担部分职责、内存团队承担其他职责。还有一些客户希望自己完全掌握所有权，同时与逻辑合作伙伴和内存合作伙伴开展合作。”

近期，台积电宣布正在与华邦合作。华邦将提供内存晶圆，而台积电负责组装堆栈。这里的一个重点是，这将减轻另外三家主要内存厂商的压力。

“穷人版”HBM？

面对内存短缺，设计人员必须更有创造性地寻找足够的内存, 尤其是那些可能无法优先获得内存分配的公司。一种替代方案是在主机上方堆叠标准DRAM裸片。

这些堆叠结构的高度不如真正的HBM堆栈，但最多可以将4个DRAM裸片依次堆叠在一起。尽管HBM尚未转向混合键合，但其他DRAM裸片已经采用这种技术。

Kruger解释道，“在已经完成流片的设计中，底部逻辑裸片正面朝上翻转，混合键合将其与上方、正面朝下的DRAM晶圆连接。该DRAM晶圆的键合间距小于10µm，因此虽然HBM仍在使用微凸块，但DRAM与逻辑裸片之间已经采用混合键合。”

无论是堆叠普通DRAM还是HBM层，间距对于键合技术都至关重要。“内存堆叠需要可靠的TSV、可靠的凸块、键合或互连，以及高性能材料，才能让HBM继续扩展。”Lam Research先进封装技术总监Prahalad Parthangal在SEMI战略材料会议上发表演讲时表示，“当间距缩小到10µm以下时，混合键合互连就成为关键推动因素。”

人们可能认为，这种方式是对内存供应紧张的应对方式，但事实证明，还有一个更加重要的原因，就是速度。

“我们原本认为，这是因为一些客户无法获得HBM。”Kruger表示，“但从应用层面来看，其原因是HBM能够显著降低延迟，因为现在使用的是紧密排列的混合键合或凸块来进行数据传输，同时也能降低功耗。”

Synopsys 预计每年只有不到 20 个项目会以这种方式实施。

一切都因项目而异

综合来看，四个主要步骤的具体实施方式如下：

• 设计会因项目而异，但最有可能由使用定制内存的企业（例如超大规模云服务商）或设计公司完成，尤其是提供定制服务的设计公司。
• 制造和晶圆测试将在逻辑晶圆代工厂进行，但它可能与制造标准裸片的晶圆代工厂相同，也可能不同。
• 组装方式会因项目而异。由谁负责将通过项目协议确定。
• 最终测试可以按照标准HBM的方式进行，但会采用定制测试程序。

目前已经有项目正在推进，定制HBM堆栈可能会在一年内，或者最多两年内进入数据中心使用。

那么，这会对内存供应产生怎样的影响？乍看之下，定制HBM似乎是在正常HBM供应需求之外增加了额外需求，但如果把整个行业对内存的需求加总起来，这些需求并不会区分内存是标准产品还是定制产品。因此，预计这不会进一步增加产能负担，而只是需求结构的问题。

不过，获得供应可能仍然很困难。“目前内存存在巨大的短缺，价格正在飞涨。”Malik提醒称，“这些内存供应商的晶圆厂未来一年半到两年的产能都已经售罄。”

这种需求结构最终如何确定，可能会给供应规划带来挑战，因为标准产品相对容易进行规划。而预测哪些客户会采用定制版本，以及这些产品将在哪里制造，可能会使预测结果更加难以确定。