AI计算的未来，不会只依赖单一芯片

近日，多位行业人士围绕AI数据中心架构变革展开研讨。参与嘉宾包括Arm云与AI基础设施硅产品全球负责人Satadal Bhattacharjee；Axiomise首席执行官Ashish Darbari；楷登电子（Cadence）杰出工程师Moshiko Emmer；Expedera首席科学家Sharad Chole；西门子EDA高性能计算开发负责人Cameron Brunner；新思科技（Synopsys）战略营销总监Sumit Vishwakarma。

（从左至右）：Arm Bhattacharjee、Axiomise Darbari、楷登电子 Emmer、Expedera Chole、西门子EDA Brunner、新思科技 Vishwakarma。

由多颗处理器组成、对外表现为一台整机的计算集群，在网络互联、热管理、供电等方面存在诸多设计难题。哪些企业正在主导技术创新，推动这类方案落地？

Brunner：硬件厂商与大型系统集成商正在研发集群网络搭建方案，软件则负责调度工作负载，最大化利用互联资源。超大规模云厂商已经把这类理念落地实践，搭建出对应的运行环境。很多云厂商设有放置组机制，把虚拟机部署在一起，让虚拟机之间可以使用高速互联。

但这会带来棘手问题：当应用跨多台机器运行时，想要实现增加机器就线性提升性能的效果，难度会大幅上升。

Chole：集群设计很大程度取决于工作负载。我长期从事NPU与AI相关工作，随着模型规模不断膨胀，内存成为关键瓶颈，内存需要和计算单元协同工作。因此HBM的成本、HBM的利用效率，成为GPU方案中非常关键的因素。

模型既有静态参数部分，也存在动态的上下文部分。例如内存需要保存多少上下文、处理多少数据，和需要同时处理的请求数量直接相关。边缘场景比较简单，同一时间只会收到少量请求。但在数据中心，需要在API层面最大化整体资源利用率，核心指标就是每秒处理请求数。

实现这一目标，会用到多种并行范式：张量并行、数据并行、上下文并行、流水线并行，每一种并行范式对网络拓扑都有不同要求。流水线并行是数据在A节点与B节点之间流转；张量并行则要做全归约运算，再把结果广播回去。搭建集群时必须充分考虑这些差异，这也是做张量并行拓扑扩展时，NVLink十分重要的原因。存储系统、内存数据传输也面临同样逻辑。

再看CPU的使用，工具调用、CPU上工具的运行方式，会改变智能体工作负载的运行形态，理解工具的执行逻辑十分关键。例如在数据中心运行完整的智能体工作流，就需要做好编排调度。智能体工作负载很大程度上变成云管理问题：需要提供各类工具应用，保障MCP（模型上下文协议）服务器稳定部署、响应及时。当API调用量足够大时，对集群做深度优化就能产生收益。

所以我们要思考各类并行策略，如何从单颗GPU扩展到8颗GPU，并且尽量接近8倍性能，这一直是行业难题。

Bhattacharjee：确实如此。英伟达带起的一大趋势，就是推理流水线解耦。推理分为多个阶段：预填充阶段，输入提示词，系统解析用户指令，为后续运算做准备，该阶段计算压力极大。近期英伟达宣布Groq 3 LPU（语言处理单元）将用于预填充集群，这也说明部分任务已经不能只依靠GPU完成。

第二个是解码阶段，实际生成输出回复。智能体兴起之后，还会出现工具调用、任务执行环节，比如叫网约车、预订酒店。

推理流水线解耦之后，会出现分工不同的集群：一套软硬件集群专门处理预填充；一套集群负责解码；还有计算集群承担智能体的任务执行。各个集群相互协同，目前大多通过以太网互通，每套集群搭配不同软硬件组合，发挥各自最大优势。

这会成为未来常态。过去所有AI任务都用GPU解决，而行业逐渐意识到，不能用同一把锤子处理所有钉子。GPU擅长数学运算，但推理场景工作负载特性完全不同，需要更多元的硬件，也就是异构集群。同时软件必须适配异构集群，这带来巨大软件挑战：各类硬件来自不同厂商，软件要调度每一类硬件，发挥各自能力。

新兴云厂商正在参与这一领域。例如DigitalOcean推出五层推理架构，底层采用异构集群，兼容AMD、英伟达硬件，后续还会接入更多新硬件。行业趋势就是提升效率、降低token生成成本。

Darbari：集群把设计问题从打造一台高性能单机，转变为搭建一套协同分布式系统。单台服务器主要关注本地计算、内存、I/O的平衡。集群性能高度取决于工作负载拆分、通信模式，以及互联网络能否高效完成同步与数据搬运。

集群内部存在通信层级。最底层是芯片之间互联，包括封装内裸片、板卡上加速器、单节点内设备之间的连接。UCIe这类行业标准正在兴起，提升裸片间互联的跨厂商互通性与可预测性，对基于多个芯粒搭建大的一致性计算节点至关重要。

在AI数据中心，CPU承担大量智能体AI、推理复杂推理循环、维护上下文、分支指令路由等难以并行化的任务。那么GPU除矩阵运算之外，还需要承担哪些工作？CPU接管部分负载之后，GPU是否会新增其他任务？

Bhattacharjee：推理流程中存在推理环节，需要根据提示词判断执行什么动作，推理环节计算压力很高，这就需要加速器（不限于GPU，也可以是完成推理的专用ASIC）。模型推理需要大量矩阵运算，这正是加速器的强项。

而编排调度、工具调用，也就是智能体执行各类动作，这些任务可以交给CPU。整套流程需要严格管控，明确哪些负载跑在CPU，哪些跑在NPU，软件在此起到关键作用。

Emmer：面向智能体、重推理的推理场景，加速器的重要性并未下降，只是流水线被切分得更细碎。一部分步骤以控制、状态维护、分支跳转为主；另一部分仍然是大规模张量数学运算。混合架构天然适配这类场景，将不同计算引擎、内存结构组合成一套完整系统，而不是用单一计算硬件低效完成全部任务。

Brunner：集群内部异构化程度会持续提升。我们的项目中已经开始考虑接入量子设备，集群需要一套完全不同的方式来对接、整合量子系统。

最终会形成一套统一互联平台，用来实现业务目标。核心就是依托现有硬件能力，满足运营商需求，为业务和用户拿到最优结果。业务需求会驱动硬件走向最高效的解决方案。

集群与集群之间，主流互联方案是什么？

Brunner：以太网的主要竞争者是HPE的Slingshot以及InfiniBand。Top500超算榜单可以看到100Gbps以太网与InfiniBand的使用分布，Slingshot性能表现最优。

以太网长期作为通用互联标准。过去不断有团队推出专用协议，补足以太网短板，但历史经验表明，这只会倒逼以太网持续迭代升级。专用技术性能往往略占优势，但生态规模弱于以太网，需要做取舍。Slingshot属于HPE Cray高性能超算体系，只能采购该厂商产品；以太网生态更加广泛，最终选型取决于数据中心想要接入哪套生态。

Bhattacharjee：物理互联层面，我认同Cameron的观点，当下大量场景采用InfiniBand，通过铜缆完成机柜之间互联。谷歌TPU选择光互联，用光信号替代铜缆。未来几年光互联会越来越普及，以此满足暴涨的带宽速率需求。

Vishwakarma：光互联这个点说得很好，光子对比电子，具备速度优势，几乎没有电阻，能耗极低。AI集群散热压力巨大，冷却大幅拉高整体运营成本。目前不仅节点之间，芯片内部也全部采用电信号。共封装光学是热门研究方向，探索把光模块尽可能靠近芯片，甚至做到芯片内部。

共封装光学是新兴方向，与之关联的就是异构计算。智能体工作流、推理任务增多，架构走向异构，适配多样化负载。但实现异构计算本身难度很高，需要集成GPU、加速器、NPU、CPU、高带宽内存等多种器件，封装复杂度大幅提升。

多物理效应是一大关注点。高速场景下，一个封装内有多颗裸片，例如多裸片HBM，受热、翘曲影响就可能出现故障，会传导至整个计算节点乃至AI集群。电迁移引发信号完整性问题，最终也会损害AI集群性能。

Emmer：互联可以划分为三层架构。第一层是芯粒与封装互联，目标实现极高的本地带宽；第二层是主机与加速器之间节点级一致性 / 半一致性连接；第三层集群交换网络，面向规模、传输距离、拓扑做优化。

标准化十分关键，每一次协议边界转换，都会带来时延、功耗与设计复杂度损耗。不需要一套万能互联架构，而是需要多套适配匹配、阻抗损耗小的互联方案。光互联潜力巨大，但前提是真正解决系统瓶颈，不能只停留在实验室项目。

系统多层级都存在大量数据搬运，依靠什么软件或者AI来做全局管控？虚拟机能否适配种类繁多的处理器行为？整套体系如何管理？

Brunner：虚拟机可以完成高层管控。以Slingshot网络举例，它可以在底层之上部署虚拟集群。Slingshot支持按工作负载配置服务质量，管控数据流量，做最优部署，避免多业务互相抢占资源。出于功耗考量，Slingshot本地采用铜缆，远距离传输使用光纤，也可以全部采用光纤。长距离链路依靠光纤，通过软件定义集群，再配置网络服务质量匹配业务需求，以此规避异常业务行为。

Chole：软件栈层面，小规模集群会用虚拟机做虚拟化，现在容器技术已经大范围普及。就算是GPU驱动工具链，为了可复现、稳定性，也大多以容器作为主要部署方式，AI领域基本已成标准。但容器只是底层平台，上层还需要运行时、编排、调度、队列、API接口、服务平台等组件，各组件之间需要协同。不同应用拥有各自软件栈，行业会针对场景做定制。随着智能体代码兴起，更容易开发高度定制的功能，而不是强行改造现有通用方案。

Bhattacharjee：英伟达的护城河已经不只是硬件，而是二十余年搭建起来的软件生态。作为硬件厂商，它在软件层面投入巨大，完成大量优化，这也是客户采购英伟达产品的核心原因，软硬件一体化方案可以稳定扩展。

从训练转向推理，行业迫切需要异构环境，压低token成本。异构环境下，不再由单一厂商端到端包揽全部环节，软件的价值愈发关键。类比苹果软硬件一体生态，而现实场景中加速器、CPU来自不同厂商，服务器由OEM/ODM制造，再搭配网络设备，全部组件拼接在一起。

软件首先要感知异构硬件的差异，充分发挥各类硬件的特性，把负载调度到最合适的硬件上。

Gimlet Labs、Together AI这类新兴企业，就是提供异构硬件上层的软件层，适配解耦推理架构，保障预填充集群、解码集群、计算集群高效运行，承担软件编排工作，对接多家硬件厂商。

除谷歌这类自研TPU集群的超大规模云厂商之外，大多数企业没有能力自研整套硬件。DigitalOcean、CoreWeave、Lambda AI这类新兴云厂商，都会面临同样难题。大家希望硬件更多元，在不损失性能前提下压低token成本，摆脱单一厂商绑定。

目前行业还处在早期阶段，问题完全解决尚需时间，但大量资源投入到异构集群与配套优化软件研发。当下大家排队采购英伟达系统，就是因为它是经过大规模验证的成熟方案。

Emmer：同时，软件编排想要发挥效果，硬件必须对外提供合适的控制、遥测抽象接口。如果系统无法清晰描述位置关系、带宽等级、热状态、硬件引擎特性，调度器只能盲目猜测。软硬件协同设计因此必不可少。

那么集群设计的核心矛盾，就是英伟达的市场主导地位，以及功耗问题，这样理解是否准确？

Bhattacharjee：宏观来看，功耗毫无疑问是第一大难题，没有供电一切无从谈起。第二个挑战是token利用效率，依靠异构架构以及各类创新技术来实现。