阿里云：英伟达GPU用量削减82%

在韩国首尔举办的第31届操作系统原理研讨会（SOSP）上，阿里云发布的“Aegaeon”计算池化解决方案研究成果成功入选。

该方案创新性地解决了AI模型服务中普遍存在的GPU资源浪费问题，在阿里云模型市场测试中，实现了英伟达GPU用量大幅削减82%的显著成效。

Aegaeon系统运用创新的GPU资源池化技术，打破了以往GPU与特定模型绑定的低效模式，允许单个GPU动态服务于多个不同的AI模型。在阿里云模型市场进行的为期超三个月的Beta测试中，Aegaeon系统展现出卓越效能。测试数据显示，在服务数十个参数量高达720亿的大模型时，所需的英伟达H20 GPU数量从1192个成功减少至213个，用量削减82%。这意味着仅用213张卡就完成了原本1192张卡才能完成的工作，极大地提高了资源利用率，降低了成本。