AI算力扩容，铜缆主导地位松动

数据中心网络架构正在迎来又一轮架构变革。在AI集群互连场景中，光互连的作用不断提升，开始渗透至纵向扩展（scale‑up）领域，同时也在影响整体拓扑设计。纵向扩展（scale‑up）过去通常被定义为在单机架内部采用铜缆互连，由程序员使用内存语义进行编程。但这一定义正变得越来越模糊。

“纵向扩展用铜缆、横向扩展（scale‑out）用光纤，这一旧有规则正逐渐失效。”Rambus院士、杰出发明家Steven Woo表示，“随着机架内部的数据速率不断攀升，铜缆在信号损耗、传输距离以及功耗方面遇到物理瓶颈，机架内铜缆的应用能力受到挑战。从信号传输角度来看，在高数据速率场景下，光互连可以提供更顺畅的扩容路径，但必须在相对短距离内实现可控的功耗与可靠性。”

低时延是驱动上述变化的核心因素，因为GPU在等待数据时，算力无法充分发挥。“有大量报告指出，部分GPU的效率仅约25%，原因就是GPU空闲等待数据。”Omnitron首席执行官、联合创始人Eric Aguilar说道。

与此同时，谷歌部署了采用环面（torus）构型的光电路交换（OCS）网络，其他企业也在考虑将光电路交换网络应用于其他网络架构。

这场架构变革，也要求我们更加精准地评估AI数据中心网络中，各类扩容术语的定义正在如何演变。

扩容模式进一步迭代

数据中心的扩容层级持续变化，尤其是面向AI工作负载，已经演化出纵向扩展（scale‑up）、横向扩展（scale‑out）、跨域扩展（scale‑across）等模式。近期还出现了向内扩展（scale‑in）。“这是过去三个月才兴起的新概念。”Ayar Labs产品管理负责人Vishal Chandrasekar称，“它指GPU输出的带宽中，保留在单一机箱内部的那部分带宽。”

直至不久前，这些术语的定义可归纳如下：

• scale‑in（向内扩展）：单台服务器内或单块板卡上处理器之间的互连。

• scale‑up（纵向扩展）：机架内部互连，采用铜缆布线，支持内存语义编程。（提示：该定义现已过时）

• scale‑out（横向扩展）：跨机架互连，采用以太网RDMA语义，越来越多地使用光互连。

• scale‑across（跨域扩展）：跨不同数据中心园区的互连，使用光纤。

除新增scale‑in以外，scale‑up本身也在发生演变。计算集群规模已经突破单机架的限制，开始纳入相邻机架的服务器。互连距离随之变长，铜缆不再是最优介质，光纤正逐步渗透进scale‑up场景。

“如果是机架内部，大概率还会用铜缆。”Chandrasekar解释道，“若是相邻机架，就处于临界状态，或许还能继续使用铜缆。一旦超出相邻机架的范围，就必须采用光互连。”

关于链路多长就需要使用光模块，Chandrasekar表示：“假设采用200G信号速率，铜缆适用距离最多5米；极限条件下，最多7米。一旦达到10米及以上，就必须使用光互连。”

过去定义的scale‑up包含三大要素：单机架、铜缆、内存语义。如今前两项正在逐步被淘汰，仅剩内存语义作为核心判定条件。

“软件人员将scale‑up定义为单一操作系统域，拥有统一内存空间。” 新思科技（Synopsys）接口IP产品总监Priyank Shukla说，“也就是说程序运行时，处理器可以写入同一个内存地址，无论该内存物理位置在哪里。”

典型的scale‑up与scale‑out实现方案都会尽量减少转发跳数。“在scale‑up域内，任意GPU之间仅需一跳即可互通。”Chandrasekar介绍，“而scale‑out场景，通常需要两跳。”

新的UALink标准对scale‑up的单跳要求进行了约束。“UALink的scale‑up网络架构旨在保障加速器之间仅经过一次交换机跳转完成互连。”Shukla解释，“即便scale‑up域的范围扩展到单机架之外，加速器之间通信也仅经过一台UALink交换机。因此跨机架连接加速器，并不一定需要交换机‑交换机拓扑，避免引入额外跳数。这台交换机可以部署在机架架构的不同位置，例如架顶（ToR）或者机架中部（MoR），关键在于端点之间的加速器流量依旧只经过一次交换机转发。”

当scale‑up域延伸至机架之外，时延与跳数约束的关注点，就从互连介质转移到连接加速器、交换机、服务器的整体网络拓扑。

网络架构

服务器在数据中心内部的互连方式，会直接影响功耗与性能，不存在绝对通用的最优配置，不同工作负载适配不同组网方案。

最为通用的是CLOS网络，也叫叶脊（leaf‑and‑spine）网络。两台服务器之间可以实现短路径传输。尽管该架构应用十分广泛，但有一家头部企业在AI网络中采用了其他方案。

“谷歌没有使用叶脊网络。”Chandrasekar介绍，“谷歌采用环面（torus）网络，每一块TPU都和相邻TPU相连，相邻关系包含上、下、右三个方向，具备脉动阵列的特征。”

图1：网络架构。上图为叶脊架构，任意服务器之间实现单跳通路；下图为环面架构，两台服务器之间可能需要多跳转发。来源：Bryon Moyer / Semiconductor Engineering

两种架构核心差异在于服务器互通需要的转发跳数。叶脊网络只需要一跳；环面网络跳数取决于设备位置，示例路径中需要四跳。

“如果数据要从一端的GPU传输到另一端的GPU，中间就要经过多次跳转。”Chandrasekar指出。足够长的传输路径可以用光互连实现更好的功耗性能。但每一次跳转都会带来损耗，因为这类网络普遍采用分组交换，每个交换机或路由器都需要解析数据包头部信息。

光技术本身无法识别数据包。上述四跳路径的每一个跳转节点，都需要完成光信号转电信号；完成路由决策后，再转换回光信号，继续传输。

每个节点反复进行光电转换，既增加时延，也会消耗大量功耗。有没有更适合光网络的实现方式？

电路交换：传统技术新用

如今分组交换已是行业常态，但它并非最早的网络技术。早期全国电话系统就使用电路交换。电路交换指在源端与目的端之间建立完整通路，将这条通路分配给单一数据流独占。早年这条通路用于两端用户通话，通话占用线路期间，其他用户无法使用该线路（不考虑同线电话）。

可以用一个类比帮助理解：假设你要驾车从洛杉矶前往波士顿。现实中道路由大量车辆共享，在各个路口、互通立交，所有车辆都可以调整路线驶向各自目的地。经历过等红灯的人都知道，如果其他车辆全部避让，整条道路专供你通行，旅途会顺畅得多。

如果你可以预约一条洛杉矶直达波士顿的完整通路，中途无需停靠，就能更快、更高效抵达终点。这就是电路交换网络的工作逻辑。它配套一套低速后台网络，在通信开始前完成通路配置。电话系统中，七号信令系统（Signaling System 7）就是这类控制体系。

但它的弊端很明显：哪怕你还在加利福尼亚州，整条路径上所有路段，哪怕是波士顿近郊的道路，都被占用。只有等你抵达终点之后，整条通路才会释放，可供其他人使用，这看起来效率很低。

分组交换：适配部分场景

分组交换就此登场，可以类比为道路上的停车标识、红绿灯、高速互通立交，允许多个用户同时去往不同目的地，共享道路资源。把路口替换成路由器，道路替换成线缆，就是分组交换网络的核心逻辑，也是绝大多数网络的标准方案。

但现在，分组路由带来的反复光电转换，成为数据中心的一大难题。“数据传输过程是，高速光纤光信号进入电交换机，光信号转为电信号，解析数据包，再路由转发至另一块GPU。”Aguilar表示，“这套光‑电‑光转换循环会消耗巨大功耗，增加时延，推高数据中心成本。大约15年前谷歌开始研究这个问题，约10年前，基于MEMS（微机电系统）的光电路交换机落地实现。”

谷歌在每台路由器内部全部使用可调MEMS反射镜。反射镜将来自源光纤的激光反射至对应路由的目的光纤。各个节点完成配置后，源端到目的端就形成一条无转换的透明通路。该方案就是光电路交换（OCS）。

谷歌的落地实践

谷歌验证了光电路交换的价值。谷歌AI与基础设施高级副总裁、首席技术官Amin Vahdat，在其2022年发表的论文中提到：“过去八年，我们将光电路交换（OCS）与波分复用（WDM）深度集成到Jupiter网络中。光电路交换结合软件定义网络（SDN）架构，实现多项全新能力：支持异构技术的网络分步建设；实现更高性能，更低时延、成本与功耗；支持基于实时应用优先级与通信模式调度；支持零停机升级。Jupiter网络实现上述能力的同时，流完成时间降低10%，吞吐量提升30%，功耗降低40%，成本降低30%，停机时间相比主流方案缩减50倍。”

功耗降低来源于多方面优化。“可以减少一半光模块，省去配套液冷开销，同时移除交换机内部的ASIC与电子器件，全部替换为光解决方案。”Aguilar说道。

在光电路交换网络中，两台服务器之间传输大批量数据时，后台控制网络会预先配置好整条路径上所有反射镜，之后数据流即可传输，中途无需转换信号、无需路由判断。但前提条件：所有数据都来自同一个源，去往同一个目的，数据不能分叉转发至其他节点。因此该优化仅适配特定工作负载。

如果用来处理短而频繁的数据突发，通路建立和拆除的开销，会超过数据本身传输耗时。沿用公路类比：只有车队的总长度接近整条洛杉矶‑波士顿公路，预约整条公路才有意义。此时道路被占用，但不会空闲浪费。这就和适合光电路交换的长数据流场景类似。

“行业里常把这类长数据流称作‘大象流’。”Aguilar说，“光电路交换对大象流的处理效果远好于碎片化的‘老鼠流’，更适配AI与大模型训练、推理业务。”

光电路交换需要在有效载荷传输前预约端到端的光通路，因此性能也取决于完成通路配置的控制平面。

新一代信令体系

数据流启动传输前，后台网络完成反射镜配置。类比七号信令系统，它是一套低速以太网控制网络，和光业务网络并行运行。“依靠低带宽以太网网络完成交换机与数据通路的重配置。”Aguilar解释。

网络重配置耗时不算长，但依旧存在开销，这也决定了它更适合长数据流。不过，网络配置本身不是主要瓶颈。“真正的瓶颈来自光模块的信号锁定。”Aguilar表示。

一套网络变成两套，看起来复杂度上升，但这套控制网络并不复杂。“机架之间依旧依靠以太网，完成业务通路调度，整体方案更加简洁高效。” 他补充道，同时不会带来高额资本开支，“以太网交换机成本很低，只作为简单的低带宽指令中枢。”

分组交换与电路交换混合部署

上文图1的环面网络采用点到点连接，多跳链路可以受益于电路交换。而叶脊架构内置大量交换机、路由器，这套架构是否也可以引入光电路交换？

环面网络中是端到端数据流。叶脊架构也可以实现端到端电路，不过跳数更少，功耗收益也会下降。部分企业正在评估：例如叶脊网络上层采用光电路交换，源路由器输入端接收多个数据包，打包后通过光链路传输到对端路由器；在目的路由器侧解包，再以电信号转发至最终节点。

“光电路交换的光链路终结于交换机，之后全部是电信号处理。”Synopsys的Shukla说道。

图2：电路交换与分组交换混合。上图为树形网络中的端到端电路通路。如果光通路仅用于路由器之间，数据包可在源路由器完成聚合，到达目的路由器后解包，再以电信号重新路由。来源：Bryon Moyer / Semiconductor Engineering

只要流量足够稳定，源端多个数据包的目标节点都连接同一台目的路由器，两台交换机之间就可以建立光通路。如图2所示，逻辑看似简单；但当路由器之间路径复杂、途经大量节点时，混合电路就具备实际价值。

谷歌已经落地光电路交换，并且正从环面网络向另一种名为 “蜻蜓（dragonfly）” 的架构演进。其他企业尚未部署环面或其他树形光电路交换网络，但行业消息显示，多家企业正在评估将光电路交换应用于不同组网。

“业内在探讨：能否在叶脊架构中，第二层替换成光电路交换，第一层继续保留云业务分组交换。”Chandrasekar说。

向光网络迭代，不需要对数据中心做大规模改造。“现有数据中心改造即可部署这套方案，既可以降低功耗，也可以在现有机房内提升算力容量。”Aguilar表示。

光网络部署完成后，后续无需大规模升级。光纤本身不感知光模块、内存、处理器代际迭代，硬件换代不用改动底层网络。

不过该思路还处在行业探讨阶段。“目前更多还处于探索期，暂无企业大规模落地。”Chandrasekar补充。

光互连进一步渗透

上述发展趋势，都意味着光互连在数据中心的占比持续提升。在纵向扩展场景，长距离链路开始光纤与铜缆混用。

行业标准会推动产业落地。“OCP正在制定相关标准，让更多厂商参与生态。”Aguilar称，“谷歌有大量自研专有技术，这套技术想要普及，就必须标准化，否则无法大规模落地。”

如果光电路交换大规模落地，会不会给光器件厂商带来爆发式需求压力？Aguilar认为不会，依托产能规划与行业并购可以承接需求。“基于我们预测，未来五年供给可以匹配需求。代工厂已经基于增长预期扩产；英伟达向Lumentum投资20亿美元，还向Coherent投入20亿美元用于光电路交换相关业务。”

光电路交换为两点之间长数据流提供更高效的光传输方案，给数据中心带来全新的光互连组网思路。“处理各类对内存时延敏感的业务时，都希望减少转发跳数，全程光域传输确实可以带来帮助。”Aguilar指出。

同时行业联盟也在涌现，例如Lightmatter近期加入英伟达NVLink生态，但仍有诸多待解决的问题。

SignatureIP销售与业务拓展高级副总裁Ewald Liess表示：“多家企业都在评估该方案，技术层面价值突出。但生产成本、可靠性方面，还有大量挑战亟待解决。”