英伟达推出两款开源工具，助力本地AI提速降本

当地时间8月11日，英伟达同步推出两款开源工具——轻量模型Nemotron 3.5 Lightning与路由工具NeMo Switchyard，旨在打通本地、边缘、云端全场景部署，让AI跑得更快、花得更少、用得更聪明。

Nemotron 3.5 Lightning：推理提速4倍，重塑响应效率

如今成熟的企业智能体早已不是单一模型孤军奋战，而是一套“多模型协同系统”：顶层大模型负责复杂规划与全局推理，底层需要大量专用模型承接代码审查、告警监控、客服问答等高频重复任务。如果所有指令都丢给GPT-5.6、Opus 4.8这类顶级推理模型，那么海量高频请求会直接推高算力开销；若全部使用小模型，复杂业务又会出现准确率短板。而Nemotron 3.5 Lightning的诞生，恰好补齐了多智能体架构里“高效执行层”的空白。

这款300亿参数混合专家（MoE）开源模型，是同级别中面向长时智能体任务效率最高的方案，单轮推理仅激活30亿有效参数，轻量化架构兼顾推理速度与专业能力。实测数据显示，它的文本输出速度最高可达同类竞品4倍，整体智能体任务完成效率提升30%，同时支持企业基于自有行业数据、业务工具做二次微调，适配垂直领域专属场景。

从落地硬件来看，Nemotron 3.5 Lightning彻底打破了“高性能大模型只能跑云端机房”的固有认知，完美适配英伟达全系列本地算力设备，包括RTX高性能PC、RTX PRO工作站、DGX Station、DGX Spark服务器，乃至Jetson边缘终端。对于金融、法律、网络安全、生物医药等数据敏感行业而言，本地运行意味着所有业务数据不出企业内网，完美满足隐私合规要求；同时，企业也能盘活现有GPU硬件资产，不用额外采购云端算力，长期大幅削减运营成本。更重要的是，它是完全开源且可定制的。企业可以用自己的数据、工具和工作流对它进行后期训练，让它在特定领域变得更精准。

目前，全球多家行业头部企业已完成定制化落地，如网络安全厂商CrowdStrike用它搭建安全告警智能体，实时筛查风险日志；法律服务商Harvey依托模型优化合同检索与法条分析；CodeRabbit、Fastino Labs将其用于代码审查、软件开发、医疗数据分析，在细分任务上跑出行业顶尖精度；生命科学企业Lila Sciences则借助模型强化科研场景逻辑推理能力，加速实验数据解析。不同行业正在用同一个基础模型，长出各自擅长的“专业能力”。

NeMo Switchyard：AI智能体的“超级调度员”

如果把Nemotron 3.5 Lightning比喻成AI系统中的“专业跑腿员”，那么NeMo Switchyard就是那位懂得“把合适的任务派给合适的人”的调度员。

这款解决调度难题的开源利器，相当于AI智能体的智能分诊中枢，无需开发者重构原有应用代码，就能自动解析每一条业务请求，把指令精准分发到能力、成本、延迟最匹配的模型——简单问答交给Nemotron 3.5 Lightning这类轻量模型，深度逻辑推理再路由至前沿大模型，同时兼容企业自研模型、第三方开源模型与英伟达全系产品，实现异构模型统一调度。

根据官方基准测试显示，搭配Nemotron 3.5 Lightning使用后，整套智能体系统在保持顶级准确率的前提下，任务完成总成本仅为单独使用Opus 4.8的三分之一。

而海量生态合作伙伴的实测，则进一步验证了其实力：LangChain接入后，145轮多深度智能体任务成本下降74%，仅7%的请求需要调用高价前沿模型；Ramp软件开发基准测试中，成本削减58%、运行时长缩短33%；Boomi实现全域路由100%精准度，近六成流量分流至提速5倍的微调模型，后续交互延迟降低21%。Cadence、Siemens、Cognition、Kong、LiteLLM等开发平台均已完成原生集成，开发者可零改造接入现有技术栈。

为了让各行各业更轻松地接入和使用，英伟达将这两套产品完全开源，以此消除技术应用的高门槛。其中，Nemotron 3.5 Lightning已上架Hugging Face、ModelScope、OpenRouter以及英伟达官方模型服务build.nvidia.com，同时通过云厂商、微调平台、推理平台全渠道分发；而NeMo Switchyard代码托管于GitHub，后续将登陆各大开发者工具平台，中小企业、独立开发者均可免费下载、修改和商用。

站在产业视角看，英伟达此次发布的不止是两款工具更新，更是重新定义企业AI落地逻辑：过去企业二选一，要么牺牲成本上云，要么牺牲性能本地部署；如今借助“轻量执行模型+智能路由调度”这套组合，本地私有化、低成本、高精度三者得以同时实现。这不仅是技术上的优化，更是AI落地从“能用”走向“好用”的关键一步。