新内存技术CRAM：可将AI处理能耗降低1000倍或更多

人工智能（AI）计算需要大量的电力，有针对性的研究可能是大大减少电力消耗的关键。美国的一组研究人员开发了一种技术，可以将人工智能处理所需的能源消耗降低至少1000倍。

明尼苏达大学双城分校的一组工程研究人员展示了一种提高人工智能效率的技术，并发表了一篇同行评审的论文，概述了他们的工作和发现。该论文发表在《自然》杂志的同行评审期刊npj Unconventional Computing上。他们在人工智能计算的正常实践中创造了一条捷径，大大减少了任务的能源需求。

在当前的人工智能计算中，数据在处理数据的组件（逻辑）和数据存储位置（内存）之间传输。这种信息的不断来回穿梭导致消耗的能量是计算中使用的能量的 200倍。

因此，研究人员转向计算随机存取存储器（CRAM）来解决这个问题。研究团队开发的CRAM将高密度、可重构的自旋电子学内存计算基板置于内存单元内。这与现有的内存处理解决方案（如三星的 PIM 技术）不同，因为三星的解决方案将处理计算单元（PCU）放置在内存核心内。数据仍然必须从内存单元传输到 PCU 并返回，只是没有那么远。

使用CRAM，数据永远不会离开内存，而是完全在计算机的内存阵列内进行处理。根据研究团队的说法，这使得运行人工智能计算应用程序的系统能够“比最先进的解决方案提高1000倍”。

其它例子表明，它有可能实现更大的节能和更快的处理速度。在一项测试中，执行MNIST手写数字分类器任务，CRAM被证明比使用16nm制程技术的近内存处理系统高2500倍，速度快1700倍。此任务用于训练 AI 系统识别笔迹。

这种工作的重要性怎么强调都不为过。最近的报告显示，人工智能工作负载消耗的电力已经几乎与 2021 年整个塞浦路斯国家的电力一样多。2023 年总能源消耗量为 4.3 吉瓦，预计未来几年将以 26% ~36% 的速度增长。Arm的首席执行官最近表示，到2030年，人工智能可能会消耗美国生产的所有能源的四分之一。

该论文的第一作者、明尼苏达大学电气与计算机工程系博士后研究员Yang Lv和研究团队的其他成员已经申请了几项基于新技术的专利。他们计划与半导体行业的领导者合作，包括明尼苏达州的领导者，提供大规模的演示并生产硬件，以帮助推进人工智能功能，同时提高效率。

三星HBM内存芯片因发热和功耗问题未通过英伟达测试

目前，高带宽内存（HBM）是AI服务器系统的主流内存，但其功耗问题困扰了很多企业。GPU和HBM的AI半导体消耗大量功率，因此低功耗技术很重要。实现低功耗可以节省大量数据中心成本，还可以解决散热问题。

今年5月之前，三星电子最新的HBM芯片未通过英伟达测试。三名知情人士表示，该公司的芯片因发热和功耗问题而受到影响。

报道称，这些问题影响到了三星的 HBM3 芯片，该芯片是目前 AI GPU 最常用的第四代 HBM 标准。问题还影响了第五代 HBM3E 芯片。

三星在一份声明中表示，HBM是一款定制内存产品，需要“根据客户需求进行优化流程”，并补充说，该公司正在通过与客户的密切合作来优化其产品。它拒绝对特定客户发表评论。IT之家注意到，英伟达拒绝置评。

三位消息人士称，自去年以来，三星一直在努力通过英伟达对 HBM3 和 HBM3E 的测试。据两位知情人士透露，三星 8 层和 12 层 HBM3E 芯片的失败测试结果于 4 月份公布。

三位消息人士表示，未能满足英伟达的要求增加了业界和投资者的担忧，即三星可能会进一步落后于竞争对手 SK 海力士和美光。

进入7月以后，三星似乎解决了HBM的功耗问题。

美光下一代HBM在功耗方面更具优势

据韩媒报道，业内人士表示，美光正在研发的下一代HBM在功耗方面比SK海力士和三星电子更具优势。美光的新HBM产品在低功耗性能评估中表现出了优异的成绩。

美光2月发布的HBM3E 8层产品的功效据称比竞争对手高出30%，已成功供货给英伟达。

消息还称，今年年底美光HBM产能为2万片12英寸晶圆。虽然仅为SK海力士和三星电子产能的20%左右，但预计明年将增加三到四倍。

美光设定的目标是最早在明年下半年开发第 6 代 HBM（HBM4），并预计在2028 年开发第7代 HBM4E。