人工智能推理时代近在眼前

多年来，人工智能领域一直注重训练更大规模、更优质的模型。但2026年，在堪称人工智能界“超级碗”的英伟达GPU技术大会上，该公司首席执行官黄仁勋宣布了新一代芯片产品线，其中包含了这家GPU巨头的一项首创：一款为人工智能模型推理过程量身打造的芯片。这款新型推理芯片凸显了人工智能应用方面的一种持续趋势：算力重心正从持续研发超大模型，转向大规模落地应用现有模型。

这款芯片名为英伟达Groq 3语言处理单元（LPU），采用了英伟达2025年12月斥资200亿美元从初创公司Groq授权获得的知识产权。

2026年3月16日，黄仁勋在GPU技术大会上表示：“人工智能终于能够落地创造实际价值，这也意味着人工智能推理时代的转折点已经到来。” 

训练和推理任务有着截然不同的计算要求。训练可以同时处理海量数据且可能需要数周，而推理必须在收到用户查询时立即运行，这意味着速度是一个重要因素。过去几年里，专门面向推理的芯片初创公司经历了一场人工智能领域的“寒武纪大爆发”，各公司在探索不同的方法来为该任务提速。

2025年底，英伟达在宣布与Groq达成交易时，似乎已经选择了众多推理芯片中的赢家。仅仅两个半月后，英伟达Groq 3 LPU芯片就亮相了，凸显了推理市场不断增长的趋势。

Groq加速推理的方法依赖于在芯片上交错排列处理单元和内存单元。该公司并未在GPU旁排布高带宽内存（HBM），而是采用了集成在处理器内部的静态随机存取存储器（SRAM）。这种设计简化了数据在芯片内部的传输路径。

“数据实际上直接流经SRAM。”时任Groq公司品牌与创意副总裁、现任英伟达开发者营销总监的马克·希普斯（Mark Heaps）在2024年的超级计算大会上表示，“观察多核GPU可以发现，许多指令需要被发送到芯片外部，进入内存，然后再返回。而我们的产品不存在这种情况。”

通过简化的芯片设计和使用SRAM，数据能够以极快的速度流动，从而实现推理应用所需的低延迟。“针对极低延迟的词元生成，LPU进行了严格优化。”英伟达超大规模与高性能计算部门副总裁兼总经理伊恩·巴克（Ian Buck）表示。他所说的词元是指人工智能模型在执行推理时处理和串联起来的数据单元（通常是一个个词语或词语的一部分）。

比较Groq 3 LPU与英伟达的Rubin GPU就能看出明显差异。Rubin GPU可以访问288千兆字节的高带宽内存，其4位计算能力可达5亿亿次浮点运算/秒。Groq 3 LPU仅包含500兆字节的SRAM，其8位计算能力为1200万亿次/秒。另一方面，Rubin GPU的内存带宽为22太字节/秒，而Groq 3 LPU的速度是其7倍，达到了150太字节/秒。

英伟达并非唯一一家致力于推理技术的公司。2026年3月，亚马逊云科技表示将在其数据中心部署一种新型推理系统。该系统结合了亚马逊云科技的Trainium 人工智能加速器以及Cerebras Systems公司的第三代计算机CS-3（该计算机以有史以来最大的单芯片为基础构建而成）。这种由两部分组成的系统旨在利用一种称为“推理分解”的技术。

该技术将推理分为处理提示词（称为预填充）和生成输出（称为解码）两部分。预填充本质上是并行的、计算密集型的，并且不需要太多的内存带宽；而解码则是一个更具串行性的过程，需要大量内存带宽。Cerebras Systems通过在芯片上构建44千兆字节的SRAM，并用21拍字节/秒的网络将其连接起来，最大化地解决了内存带宽问题。

英伟达也计划在其Groq 3 LPX新型计算机架中利用推理分解技术。该机架内的每个托盘将容纳8个Groq 3 LPU。LPX将与英伟达现有GPU和CPU机架Vera Rubin NVL72共同承担推理任务。预填充以及解码过程中计算较为密集的环节在Vera Rubin上完成，而最后一个环节则在Groq 3 LPU上完成，以便充分发挥每个芯片的优势。

黄仁勋在GPU技术大会上表示，英伟达Groq 3 LPU现已投入量产。这一信号标志着一个新现实的到来：摩尔定律的终结意味着进一步的效率提升将来自针对具体应用的硬件。CPU的设计初衷是让一切更快地运行。“它的动力已经不足了。”黄仁勋说，“未来我们加速应用程序的唯一方法……是针对具体的应用场景或领域加速。”