DeepSeek推理任务中,昇腾910C已达英伟达H100性能的60%!

来源:半导纵横发布时间:2025-02-06 11:44
AI
GPU
生成海报
虽然昇腾910C并非当前最强AI芯片,但它有助于降低中国对NVIDIA GPU的依赖。

根据DeepSeek 研究人员的测试,在推理任务中,昇腾910C性能可达H100的60%。据悉,升腾910C采用chiplet封装,第二代7nm级(N+2)工艺,整合约530亿个晶体管。

虽然昇腾910C并非当前最强AI芯片,但它有助于降低中国对NVIDIA GPU的依赖。

此外,通过手动优化CANN内核,其效率可以进一步提高。DeepSeek对昇腾处理器及其 PyTorch存储库的原生支持允许以最小的的资源代价,实现CUDA到CANN的无缝转换,从而更容易将华为的硬件集成到AI工作流程中。

DeepSeek的支持为华为芯片带来了关键优势:从第一天起就支持华为昇腾芯片,自主维护PyTorch仓库,只需一行代码就能将CUDA转换为CANN;而且性能优化潜力巨大,通过定制优化可达到更高性能。

据华为官网介绍,CANN(Compute Architecture for Neural Networks)是昇腾针对AI场景推出的异构计算架构,对上支持多种AI框架,对下服务AI处理器与编程,发挥承上启下的关键作用,是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景,提供高效易用的编程接口,支持用户快速构建基于昇腾平台的AI应用和业务。CANN分社区版和商用版。前者是快速提供新特性的体验版,供开发者提前试用;而后者是满足商用标准的稳定版本。

目前,CANN社区版已经来到了8.0.0.alpha003版本,针对Ascend C进行了特性增强。而商用版CANN 8.0.RC3版本也已经发布,新增适配7个操作系统,简化了CANN安装流程。

DeepSeek的Yuchen Jin表示,长期训练可靠性是中国处理器的一个关键弱点。

主要是NVIDIA硬件和软件生态系统的深度集成,该生态系统已经发展了二十多年。虽然推理性能可以优化,但持续的训练工作负载需要华为的硬件和软件堆栈进一步改进。

而随着AI模型架构向Transformer收敛,CUDA和PyTorch编译器的重要性将降低。DeepSeek团队的加入将显著降低对NVIDIA的依赖,大幅节省成本。

据了解,DeepSeek使用英伟达的H800芯片训练时,使用英伟达底层硬件指令PTX(Parallel Thread Execution)语言,而非高级编程语言CUDA。这样意味着DeepSeek绕过了CUDA,使用更底层的编程语言做优化。

对于程序开发人员来说,CUDA是一种更加友好的高级语言,开发者只需要专注于程序和算法最相关的运行逻辑,而不太需要考虑具体的程序是如何在GPU等硬件上具体如何执行计算的,从而能够降低开发难度。

而PTX在接近汇编语言的层级运行,允许进行细粒度的优化,如寄存器分配和Thread / Warp级别的调整。这种编程非常复杂且难以维护,所以行业通用的做法是使用CUDA这样的高级编程语言。

北京航空航天大学副教授黄雷表示,绕过CUDA可以直接根据GPU的驱动函数做一些新的开发,从而实现更加细粒度的操作。

此外,神州数码公众号消息称,DeepSeek系列模型首发即支持昇腾平台,神州数码旗下神州鲲泰推理服务器产品搭载昇腾硬件,可全面支持DeepSeek系列模型的快速部署,为用户带来更快、更高效、更便捷的AI开发和应用体验。为进一步推动技术创新与融合,神州数码还将DeepSeek集成到其自主研发的神州问学平台中,仅需3分钟部署DeepSeek模型。

华为旗下的另一款产品,华为Mate 70系列纯血鸿蒙版本的小艺也已经接入了DeepSeek-R1,带来了深度思考、精准推理的能力。此次华为纯血鸿蒙小艺接入DeepSeek,其实很好地解决了升级纯血鸿蒙用户在不安装卓易通的情况下无法在应用市场下载DeepSeek App的问题,能够让更多的用户直接通过小艺就使用DeepSeek。

知名分析师郭明錤日前发文指出,DeepSeek爆红后,端侧AI趋势将加速。DeepSeek的爆红直接提升英伟达H100的训练需求,这证明优化训练方式(也可视为成本降低)有助训练需求;另一个更显著的趋势是兴起了在本地端部署LLM的热潮。

东吴证券王紫敬认为,开源和低成本让模型层面的差距迅速缩小,为推理侧应用(包括端侧和软件)的爆发打下基础,小型团队不需要重资产投入就可以蒸馏出先进小模型(适用于各类端侧mini场景),并且端侧算力就可以跑通小模型,2025年或是端侧的爆发元年。

本文转自媒体报道或网络平台,系作者个人立场或观点。我方转载仅为分享,不代表我方赞成或认同。若来源标注错误或侵犯了您的合法权益,请及时联系客服,我们作为中立的平台服务者将及时更正、删除或依法处理。

评论
暂无用户评论