用大SiP与定制内存做AI推理

加利福尼亚州圣克拉拉——在人工智能基础设施峰会上，欧洲人工智能芯片初创公司 Euclyd 打破隐身模式，展示了其雄心勃勃的硬件架构的一些细节。该公司表示，与现有解决方案相比，该架构将提供更低的功耗和更低的单位代币成本。

Euclyd 联合创始人兼产品副总裁 Ingolf Held 向 EE Times 表示，让这项技术普及全世界是这家初创公司的雄心壮志之一。

“经过大量的头脑风暴，我们决定为大规模数据中心推理做一些事情，但我们有一些基本规则，”Held 说。“电力是最终的运营成本，因此最高的效率应该提供最低的运营成本，这将使我们能够在世界各地推广这项技术，而不仅仅是在美国，而是推广到拥有数十亿美元资金的超大规模数据中心。”

赫尔德表示，从一张白纸开始可以让这家新兴公司从第一原则来考虑问题，从而有机会同时解决计算、内存带宽和内存容量问题。

Euclyd 提出的硅片方案是一种名为 Craftwerk 的大型多芯片系统级封装 (SIP) 设计，它将集成 16,384 个 SIMD 处理器，并提供高达 8 PFLOPS (FP16) 或 32 PFLOPS (FP4) 的计算能力。这些处理单元将由 Euclyd 完全自主设计。Held 表示，该设备将使用尽可能最大的硅中介层（约 100 x 100 毫米），并配备 2.5D 和 3D 单元。

Euclyd 雄心勃勃的多芯片设计模型（来源：Euclyd）。

他说：“我们将自行构建它——我们不会从 Arm 或 RISC-V 继承任何东西，它将完全通过内部编程工具进行编程。它将支持当今的 Transformer，但不限于此。”

赫尔德表示，该设计将保持可编程性，以确保它能够加速未来的发展，无论是多模态推理、推理、循环模型、状态空间模型还是扩散模型。

Euclyd 的自定义内存和性能

Euclyd 将把计算芯片与一种名为“超带宽内存”（UBM）的定制内存设计相结合。UBM 将在 Craftwerk SiP 中实现 1 TB 的 DRAM 容量和 8000 TB/s 的带宽。

赫尔德表示，SRAM 速度很快，但市场上依赖它的 AI 加速器被迫将模型分散到多块硅片上。

“这很成问题，因为它需要大量投资，耗费大量硅片，而且还迫使你让所有这些连接在机架内或跨机架扩展，这是一个大问题，”他说。“我们的想法是让它尽可能密集。”

HBM 解决了 SRAM 的容量不足问题，但其带宽（尽管名为 HBM）不足以满足 Euclyd 的目标。Held 表示，定制设计可以与使用“相同 HBM”的竞争对手区分开来，并指出 Euclyd 的 UBM 虽然是定制设计，但并不需要特殊的工艺技术。

Held 表示，Craftwerk 的尺寸将能够在 3 kW TPD 的单片硅片上实现多代理工作流程。

根据5 月份发布的数据， Nvidia 的 DGX-B200（搭载 8 块当前 Blackwell GPU）可以为 Llama4-Maverick（400B）实现每秒单个用户 1038 个代币的传输速度。根据Artificial Analysis 的最新数据， Cerebras 可以为单个用户每秒提供 2554 个代币的传输速度。单个 Craftwerk SiP 可以为单个用户每秒提供 20,000 个代币的传输速度。

Euclyd 的机架将包括 16 个主机 CPU 和 32 个 Craftwerk，它们位于一个液冷底盘中，TDP 为 125 kW；根据该公司的预测，在典型的多用户场景中，该系统将为 Llama4-Maverick 每秒提供 768 万个令牌。

种子资金

目前，Euclyd 已获得三位私人投资者的资助：Peter Wennink（ASML 前首席执行官）、Federico Faggin（微处理器发明者、Zilog 和 Synaptics 创始人）以及 Steven Schuurman（Elastic 创始人）。Held 表示，Euclyd 将很快启动一轮风险投资融资，以实现产品化和规模化，但其种子轮融资应该足以证明芯片的有效性。

Euclyd 创始人兼顾问 Atul Sinha 告诉 EE Times，尽管公司总部位于欧洲，但仍吸引了大量投资兴趣。

“我们在欧洲采访过的每个人都说，这正是他们所期待的，”辛哈说。“我们的看法是，欧洲一直在等待有人说：让我们开始吧！就连硅谷的投资者也在等待一个能够在既定的碳足迹和能耗下真正提升性能的人。因为他们知道这是世界性的问题。”

辛哈表示，就芯片设计人才而言，Euclyd 在欧洲比在硅谷更有优势。他确认，公司计划继续在荷兰运营，总部设在荷兰埃因霍温的高科技园区，恩智浦半导体也位于该园区。

“人们不明白的是，欧洲有些地方确实拥有大量的技术和人力基础，”辛哈说。“就半导体而言，埃因霍温绝对是首选。”

“我认为，没有比这里更好的地方了，”他补充道。