英伟达TensorRT AI推理加速向GeForce RTX GPU开放

英伟达宣布推出 NVIDIA TensorRT for RTX，支持 Windows 11 系统，将为 GeForce RTX 全系显卡提供 TensorRT AI 推理加速框架，速度相当于 DirectML 方案两倍。该框架将于 6 月通过开发者官网正式推送。

技术细节显示，TensorRT 原生兼容 Windows ML 框架， ComfyUI 应用在其中相比 DirectML 实现性能翻倍，而其他应用也有 1.5~1.7 倍的性能表现。

此外，TensorRT 支持即时 GPU 专属优化，推理库文件体积缩减至原有 1/8。

英伟达目前已经为超 150 个 AI SDK 提供支持，并承诺本月还将推出 5 个全新的 ISV 集成，包括：

• LM Studio（最新 CUDA 性能提升 30%）

• Topaz Video AI（GenAI 视频加速 CUDA）

• 哔哩哔哩（NVIDIA Broadcast Effects）

• AutoDesk VRED (DLSS 4)

• Chaos Enscape (DLSS 4)

英伟达表示：“当前 AI PC 软件生态迫使开发者在广泛硬件支持与高性能优化间抉择。全新 Windows ML 推理框架通过 ONNX Runtime 构建，与各硬件厂商优化的 AI 执行层无缝衔接。针对 RTX 显卡，Windows ML 会自动调用 TensorRT for RTX，专为高性能快速部署优化的推理库。相较 DirectML，TensorRT 可为 PC 端 AI 工作负载提供超 50% 的性能提升。”