Chiplet是AI推理芯片的新基准

人工智能已从概念验证阶段迈向规模化生产，而真正的运营和经济压力在于推理，而非训练。无论您是驱动对话代理、协调工业自动化，还是在边缘部署人工智能，推理成本如今都主导着人工智能的生命周期。

然而，许多系统仍然依赖于单片芯片架构，而这些架构与推理工作负载的实际情况存在根本上的不符。

结果如何？能源浪费，成本膨胀，硅片利用率低。

基于芯片组的架构提供了一种解决方案。通过将系统划分为紧密集成的功能模块（计算、内存、互连和控制），芯片组可以实现更高的良率、更高效的封装和更快的系统演进。

对于人工智能推理，数据移动是主要的电力消耗，架构灵活性至关重要，这种方法不仅有吸引力，而且必不可少。

半导体行业正在经历这一转变。日益壮大的 Chiplet 供应商生态系统如今提供了独特的功能和互连方案，能够灵活集成针对不断发展的 AI 工作负载进行调整的组件。d-Matrix 在此基础上率先推出了全新的 AI 推理架构，实现了紧凑的芯片尺寸、更高的良率和更高的成本效率。

该的系统旨在为交互式模型提供低延迟推理，为批处理作业提供高吞吐量计算，所有这些都基于模块化硅基。

单片芯片迫使各个层面做出权衡：热限制、掩模版约束以及不相关功能的紧密耦合都会导致芯片面积使用效率低下以及分档不理想。

随着模型的演进，整个芯片必须重新设计才能适应某个子系统的变化。这既缓慢又昂贵，尤其是在推理需求快速扩展、外形尺寸和性能范围多样化的情况下。

Chiplet 通过模块化和可重用性解决了这个问题。经过验证的计算模块可以部署在多个产品上。内存带宽可以通过添加 Chiplet 进行扩展。互连可以独立演进，从而实现更好的数据局部性和更低的延迟。这些并非理论上的优势；它们直接转化为更低的总拥有成本和更低的每次推理功耗。

一些估计表明，传统的单片方法会导致相同工作负载的 能耗高出 30-40% ，这主要是由于内存层次结构效率低下和数据移动过多。

当每天进行数十亿次推理时，浪费的电力和热余量将严重消耗数据中心的经济效益和可持续发展目标。

推理挑战不仅仅关乎原始吞吐量。它需要定制系统以满足特定的延迟、效率和部署约束。Chiplet 使这种精准的工程设计成为可能。 

随着行业向更加自主、代理的人工智能系统迈进，其中模型不仅可以响应输入，还可以主动推理、计划并在不同环境中采取行动，对灵活、节能推理的需求变得更加迫切。

这些代理工作负载加剧了系统架构的压力，需要高互连带宽、内存局部性以及动态重构流水线的能力。Chiplet 非常适合支持这一智能计算的下一个前沿领域。

工程师和商界领袖都意识到，半导体行业已经到达了一个转折点。登纳德缩放定律早已过时，摩尔定律也不再有效。但人工智能工作负载却在快速翻倍。这种增长迫使设计理念发生转变。

我们需要摒弃“更大的单体”思维，转而采用模块化组合的思维方式。这正是 Chiplet 的闪光点。

是的，它们在封装、良率管理和互连方面带来了复杂性。但这些挑战是可以解决的，而且其好处是巨大的。Chiplet 范式是我们目前最接近恢复规模化的东西：性能扩展、成本扩展和能耗扩展。

如果您正在设计人工智能系统，并且仍然默认采用单片架构，那么是时候问一下这会给您带来多少成本——金钱、瓦特和竞争优势。

AI推理的未来不仅取决于你构建什么，更取决于你如何构建。Chiplet不仅仅是一个巧妙的替代方案，更是新的基准。