存储市场爆发，HPC与AI成关键引擎

目前，存储需求增长强劲，这在很大程度上得益于大数据和人工智能的蓬勃发展。在高性能计算(HPC) 领域，我们可以从Hyperion Research获得不错的数据。该公司定期进行全球高性能计算(HPC) 站点调查，以更好地了解全球一些大型高性能计算 (HPC) 站点在计算、存储和网络方面的投资情况。

Hyperion 的 2023 年全球站点调查发现，“附加”存储的总支出达到 63 亿美元，约占 HPC 本地部署总支出的 21%。存储是增长最快的元素，Hyperion 预测，到 2028 年，其在 HPC 整体市场中的份额将增长到 22.4% 以上。

据《财富商业洞察》报道，全球整体数据存储市场（不仅包括人工智能和高性能计算，还包括企业IT）去年的支出高达2180亿美元，预计今年将增长至2550亿美元。到2032年，预计该市场将增长至7740亿美元，复合年增长率为17.2%。这些数据表明，高性能计算和人工智能领域的存储增长速度快于整体企业IT市场。

从硬件角度来看，大部分支出都集中在采用NVMe 技术的固态硬盘上，这种技术比旋转磁盘具有更高的吞吐量和更低的延迟。据Grand View Research 的数据，2023 年全球固态硬盘市场规模估计为 191 亿美元，预计到 2034 年将达到约 3313.7 亿美元，复合年增长率为 17.6%。全球有数十家固态硬盘制造商，但生产固态硬盘核心 NVMe 闪存介质的公司却很少。

我们看到，一些容量高达122 TB 的大容量 SSD 正在陆续上市，有些甚至达到了 128 TB，这正在对市场产生影响。然而，这些海量 SSD 的价格却高达五位数。相比 SSD，机械硬盘的每 GB 成本仍然低约四到五倍，这有助于维持 HDD 市场，尤其是在用于 AI 训练工作负载的近线存储领域。事实上，根据TrendForce最近的一份报告，这种由AI 驱动的需求给 HDD 制造商带来了压力，导致大容量近线 HDD 的订购周期延长至 52 周以上。

传统上，HPC 通常只有两到三个存储层，而如今许多 AI 工作负载则有四到五个存储层。AI 和 HPC 项目可能会使用 SSD 作为高性能或“临时”层，并可能使用旋转磁盘作为 AI 流程中其他阶段（例如模型检查点、推理日志）的高容量或近线存储层。速度较慢的磁盘和磁带则用于长期或归档存储。

继2022年末和2023年初价格暴跌之后，我们目前正处于磁盘和内存价格飙升的时期。这种动态是消费领域最初需求低迷的结果，随后订单激增，这在很大程度上是由人工智能的扩张所推动的。行业报告显示，NAND和DRAM价格可能会在未来两年内持续上涨。

西部数据上个月在致客户的一份报告中表示，由于“我们产品组合中所有容量产品的需求空前高涨”，该公司将上调其产品目录中所有硬盘的价格。闪存盘制造商SanDisk（西部数据旗下）近期也宣布，将NAND闪存产品价格上调10%。美光科技宣布冻结其DRAM和NAND产品的价格，并据报道已通知分销商，DRAM产品价格预计将上涨20%至30%。

近线硬盘(HDD) 的持续需求促使一些人猜测，更便宜的 QLC SSD 未来可能会取代 HDD。目前看来，这种情况似乎不太可能发生，但这一点值得关注。

根据Hyperion 2023 年全球站点调查，75% 的 HPC 和 AI 站点从系统供应商而非独立存储供应商处获取本地存储。戴尔科技是HPC 和 AI 站点最常用的本地存储提供商，市场份额为 22.3%，其次是IBM（19.1%）、联想（8.5%）、富士通（5.3%）和HPE Cray（5.3%）。在独立存储供应商中，NetApp以8.5% 的市场份额领先，其次是DDN （7.4%）。“其他”类别占据了总市场份额的 23.4%， VDURA、ATOS、华为和浪潮等供应商都获得了选票。

Hyperion 2023 年的调查显示，虽然存储约占本地 HPC 和 AI 安装支出的 21%，但在云端运行 HPC 和 AI 工作负载的客户在存储上的支出却高达其预算的 33%。总计而言，云端 AI 和 HPC 的支出仅为 75 亿美元左右，其中计算实例占据了近 47% 的份额。HPC 和 AI 市场中本地部署部分的规模大约是云端的 5 倍。

有趣的是，根据Hyperion 的数据，临时存储（即上文提到的快速存储或“临时”层）的支出占 HPC 和 AI 云总支出的 13.8%，仅略低于持久存储的 16.2%。然而，在过去的研究中，持久存储的支出是临时存储的两倍，这表明这类存储的增长速度非常快，也暗示了企业正在运行的 AI 工作负载的类型。

最后，我们来看看存储领域的软件方面。谈到文件系统，主要分为两大阵营：网络附加存储(NAS) 商店和并行文件系统用户。

根据Hyperion 2022 年的调查，在 NAS 和横向扩展 NAS 领域，NFS 占据主导地位，占有 66% 的份额，其次是 OneFS，占有 14%，QumuloFS 占有 10%。在并行文件系统领域，Lustre 占据最大份额，占有 41%，其次是 IBM 的 Storage Scale（以前称为 Spectrum Scale 和 GPFS），占有 17%，内部开发的 pFS 占有 14%，WEKA占有6%，其他占有 14%。有趣的是，61% 的 HPC-AI 厂商表示，他们在云端和本地使用的文件系统不同。

然而，三年来发生了许多变化，因此Hyperion 的最新数据值得关注。ChatGPT 诞生还不到三年，因此生成式人工智能革命尚未反映在这些数字中。

据我们所知，NAS 供应商和并行文件系统供应商之间仍然存在分歧，出现了一些新面孔和新方法（例如，只销售软件，而不是销售设备）。除了并行文件系统与 NFS 和并行 NFS (pNFS) 的区别之外，由于对象存储带来的不同功能（我们将在本系列的后续文章中详细讨论），支持对象存储的能力也在推动存储采购决策。

例如，Hammerspace正在洽谈一款基于pNFS 的纯软件存储产品，该产品也支持 S3，并配备联合数据虚拟化功能。VAST Data也采用纯软件方案，提供完整的数据堆栈，支持多种存储协议（NFS、SMB、S3，甚至 Kafka API）。它们都在与 WEKA 展开激烈竞争，WEKA 也开发了一个名为 WekaFS 的横向扩展文件系统，支持 NFS、SMB 和 S3。与此同时，MinIO也凭借其开源、兼容S3 的对象存储和企业级 AIStor 产品进入了超大规模市场。

这些专业的软件定义存储供应商已经与惠普、戴尔、Supermicro 等系统提供商合作，打造可扩展至 EB 级甚至更高级别的海量存储系统。这些供应商以及 Pure Storage、NetApp 和 DDN 等设备供应商都在竞标为 Meta、谷歌、OpenAI 等 AI 巨头目前正在建设的数千兆瓦 AI 数据中心提供存储。