高成本GPU不适合下一阶段的AI

SN40L 可重构数据流单元（RDU）芯片制造商将自身定位为一种高能效的替代选择，相较于英伟达（Nvidia）GPU，其在推理速度方面更快，且精度更高。在软银（SoftBank）、贝莱德（Blackrock）、英特尔资本（Intel Capital）、GV、华登国际（Walden International）、淡马锡（Temasek）以及 GIC 等投资者的支持下，这家人工智能芯片制造商的估值达到了 51 亿美元，并且为沙特阿美石油公司（Saudi Aramco）、埃森哲（Accenture）和亚德诺（Analog Devices）等众多客户提供服务。

SambaNova 联合创始人兼首席执行官梁罗德里戈指出，英伟达（Nvidia）并未做好应对 AI 革命下一阶段即应用阶段的准备，在该阶段，90% 的计算将用于推理而非训练 AI 模型。这家高性能芯片设计公司近期展示了其能以英伟达（Nvidia）GPU 十分之一的成本实现 100 倍的计算速度。梁罗德里戈表示：“我们的 GPU 已经达到峰值…… 从 GPU 中获取的每一点增量收益都是以不断增加的成本为代价的，这些成本涵盖了收购费用、电力成本以及复杂性成本。如今世界正投入生产，英伟达（Nvidia）实际上并没有为应对 AI 的下一阶段做好准备。”

梁罗德里戈还提到，数十亿美元的培训费用将会是 Meta、OpenAI 和谷歌等少数几家公司的特权，这些公司主要集中在美国。而让这些 AI 模型更贴近企业系统才是当务之急，因为大多数公司都并不想承担从头开始培训前沿模型所需的成本。取而代之的是，基于公司私有数据进行微调的开源预训练模型，能够达到更高的准确度，且所需成本仅约为前沿模型的 5%。

梁罗德里戈表示，英伟达（Nvidia）GPU 并非是扩展 AI 应用的可持续解决方案，原因在于针对特定企业用例的 AI 模型每进行一次迭代都需要新的硬件。他举例说：“一个模型，就需要一个 GPU 机架。要是我对其进行微调，创建一个不同的检查点，这样就有了两个检查点，那就需要两个 GPU 机架。倘若我有 100 个不同的用户，存在 100 个不同的检查点，那么就需要 100 个 GPU 机架。这种情况显然是不可持续的。”

SambaNova 正在运用专家组合的方式，这使得在单个平台上能够对各种检查点进行本地虚拟化。梁罗德里戈表示，印度的数据中心必须停止那种疯狂购买 GPU 的竞赛，转而寻求具有成本效益的推理解决方案，如此便能在较少的投资基础上获得更优的投资回报。他进一步解释道：“如今，英伟达（Nvidia）机架的功率为 140 千瓦，并且还在持续增长。所以，要是您是数据中心的参与者，您不但得购买昂贵的机架，还必须将所有电气设备升级到 140 千瓦。这样一来，您可能需要聘请水管工、打造新地基、聘请新电工，甚至有可能还得建造核电站等。”

英伟达（Nvidia）GPU 每秒可生成 15 - 20 个代币，整个机架的功耗为 150 千瓦。而 SambaNova RDU 每秒可生成 140 个代币，机架的功耗为 10 千瓦，与 CPU 服务器类似。

此外，梁罗德里戈指出，依赖单一供应商的数据中心参与者将会面临诸多后果。他说：“所以，我们的建议是找到一种多供应商的模式，让您的业务能够不依赖于某一个供应商为您提供芯片。” 尽管他也认为英伟达（Nvidia）在很长一段时间内仍会是 AI 领域的重要参与者，但各公司还是应当尽可能去探索其他供应商。

“这就是推理。推理的世界将会是训练世界的 10 倍。” 梁罗德里戈还认同，随着我们转向代理等实时 AI 用例，将 AI 模型托管在更靠近企业场所的地方是极为重要的。

“所以，模型与数据的局部性并非仅仅与延迟有关。”SambaNova 的目标是在印度建立 “代币工厂”，将其作为最大模型的微调检查点。梁罗德里戈说：“这基本上就是把 SambaNova 的推理机架部署到现有的区域数据中心，然后我们就能为区域应用程序生成世界纪录代币。” 他还补充说，印度之所以是此类部署的目标地点，是因为这里拥有大量的开发者。

如此来看，无论是从英伟达 GPU 自身的局限，还是从整个 AI 芯片市场丰富多样的可替代选择来看，AI 芯片都不应该只依赖英伟达 GPU，而应综合考量不同芯片的特点，根据具体的应用场景、成本预算、性能需求等多方面因素来选择合适的 AI 芯片解决方案，以推动 AI 产业更为健康、可持续地发展。