中科曙光发布新一代词元加速方案

中科曙光正式发布了新一代词元加速方案：ParaCache。据介绍，ParaCache通过长时间保存和复用已有计算结果，减少推理过程中的重复计算，使同一套算力资源能够服务更多业务请求。该方案已在曙光8000推理应用场景完成验证，并兼容主流推理生态，有助于企业优化单位词元成本和大模型部署效率。