静默数据错误，倒逼芯片测试策略革新

静默数据错误（SDE）带来的损害，让现有测试方案与服务器缓解策略疲于应对。这类隐秘故障会对AI训练这类长时间运行的程序造成严重破坏。制程尺寸缩小、芯片复杂度提升，以及基于芯粒的封装方案，进一步加剧了静默数据错误（也叫静默数据损坏，SDC故障）带来的难题。

虽然从技术角度看，静默数据错误发生概率较低，但在高负载运行、搭载先进制程处理器的大型服务器集群中，数据损坏事故十分常见。谷歌和Meta早期分析显示，千分之一的服务器会遭遇SDE问题，对应缺陷零件数（DPPM）高达100~1000。数据中心工程师通常使用失效率（FIT）描述故障情况：1 FIT代表器件每十亿小时运行时间发生一次故障。即便只有10 FIT这样看似不错的指标，当集群规模达到1000万台设备时，每4天就会出现一次SDE故障，这样的情况难以接受。

爱德万测试创新中心战略合作开发总监John Carulli表示：“过去，商用电子高可靠性要求，一般是产品投入使用第一年缺陷率控制在100~300 DPPM。这个标准针对完整光刻版系统级芯片，大多为单芯片或是少量芯片，设备运行任务时长为数小时至数周。如今我们要调整能力，面向最新工艺节点芯片、全新架构与EDA工具打造的硅器件及封装，达到汽车级低于1 DPPM的品质标准，而这类新产品几乎没有历史数据参考。”

静默数据错误的高昂代价，主要源于微小制造缺陷，这类缺陷在芯片全生命周期内随时可能演变为故障。西门子旗下Tessent工程副总裁Nilanja Mukherjee在近期演讲中提到：“SDC相关故障可能引发数据丢失、无法访问或业务中断，迫使运营数据中心的系统厂商迁移负载、关停服务，甚至面临用户信任流失，带来巨大经济损失，损失规模常达数十亿美元。随着器件微型化，以及全环绕栅、纳米片晶体管等新技术落地，硅制造过程物理瑕疵引发的隐性缺陷风险不容小觑。我们不仅要提升测试质量，减少漏检；还需要片上测试与监测能力，持续评估硅器件状态，提前规避故障。”

AI需求迭代，芯片测试要求也随之改变。proteanTecs解决方案工程副总裁Noam Brouchard解释：“智能体AI场景下，CPU角色发生转变，不再仅仅调度加速器，还会主动执行任务，持续规划、推理、调用工具，管理并发起新运算。再加上负载快速、不可预测的切换，掌握芯片在这类负载下真实工作状态愈发重要。因此，对时序裕量、电压、负载压力、温度和器件退化进行深度监测，对这一类新型CPU至关重要。”

SDE问题日趋严峻，一部分原因是先进工艺节点更容易出现SDE故障。先进节点制程裕量更窄，材料之间连接特性波动更大，互连线尺寸更小，电阻也更高。

基于以上原因，从芯片设计、测试到系统集成的工程师呼吁多方协同，共同解决静默数据损坏问题。该问题的复杂程度远超最初预期。据估算，80% 这类运算错误源于出厂测试漏检，现在更完善的筛选手段包括关键路径监测，以及在系统、集群层面扩展功能测试。剩余20% 的SDE问题由间歇性故障和器件老化引发，借助晶体管级可靠性失效机理物理模型（例如栅氧化层击穿、随机电报噪声），有助于识别这类运算损坏故障对应的特征信号。

与此同时，SDE正在重新定义 “合格裸芯” 的标准。恩智浦半导体汽车微控制器与微处理器资深主管、院士Chen He指出：“传统测试目标是筛选失效器件。而新目标越来越侧重于找出那些可以通过常规测试、但计算结果出错的芯片。因此很多企业新增深度功能测试，专门验证计算正确性，而不只是简单检查结构性缺陷。行业也不再局限于晶圆测试和最终测试，开始广泛采用系统级测试，以及任务模式、感知负载的测试方案。”

简单来说，旧定义里的测试覆盖率，指可检测到的已建模仿造故障占比。而新定义下，测试覆盖率包含器件在真实工况和负载下，计算出错被检出的概率。

即便采用高级筛选与片上扩展测试，也无法捕捉所有引发SDE的高阻开路、桥接缺陷或小延迟缺陷。实际上，静默数据损坏故障和电压、频率、温度、老化、负载强相关，穷举测试并不现实。所以，在集群层面持续开展系统检测，已经成为必要手段。

英特尔Manu Shamsa在近期论文中提到：“制造测试阶段和数据中心定期现场筛查中高效检测SDE，是大规模算力稳定不间断运行的关键。”

谷歌、Meta、AWS等企业正在落地全集群筛查、冗余计算、应用层SDE检测以及软件检测方案，用来识别并隔离出现故障的处理器核心。

SDE成因

自2021年谷歌、Meta首次对SDE发出预警后，全行业一直在通过优化测试方法、改进可测试性设计（DFT）、扩充系统级功能测试与片上测试寻找解决方案。He表示：“最深远的新兴变化在于，芯片测试不会在出货时就终止。多个行业项目聚焦片上测试与硅生命周期管理，芯片部署后定期评估器件健康状态。道理很简单：部分SDE来自老化、损耗或是现场环境引发的性能衰减，制造阶段无法检出。工程师不再只做出货前测试，而是在产品全生命周期内验证品质。”

SDC由微小时序违规、老化效应，或是常规半导体测试、数据中心监控无法捕获的边缘缺陷引发。新思科技硅生命周期管理与RAS架构总监Jyotika Athavale称：“SDC错误来源包含永久性故障、间歇性故障、瞬态故障以及衰减型故障。根本诱因分为外部制造缺陷、硅本征老化或是瞬态错误。严重缺陷很容易在制造测试阶段检出；弱缺陷则会造成电路临界状态，仅在特定工况下失效。潜在缺陷在器件运行一段时间后才会显现症状。持续监测芯片环境变化、应用负载压力，追踪存储器与逻辑通路的时序裕量随时间的变化，能够在SDC错误爆发前实现预测。”

静默数据错误会造成算术运算出错，例如10÷2算出结果为4。

这类故障之所以称为 “静默”，是因为不会在系统日志留下记录。故障会带来错误数值，或是出现非数（NaN，无定义数学结果）。错误数值会在大型数据中心层层传递，一般只有AI训练结果和预期不符时，才会被发现。

一旦在系统层面发现错误，很难反向定位到器件原始缺陷。Carulli说：“系统到自动测试设备（ATE）的关联分析一直是难题，也是产品调试长期存在的痛点。在系统端，工程师依托固件操作寄存器读写，或许能定位某个模块异常。但很难把这个结论映射到结构性测试体系；结构性测试可以精细扫描链加载，定位逻辑锥，判断失效测试向量，最终依靠失效分析定位缺陷点。整套分析可能耗时数周，EDA、测试、失效分析、系统等不同领域团队协同，而各团队技术语言各不相同。”

目前行业已经找到SDE最常见的物理诱因：

• 高阻开路：金属层或通孔互连连接不完整。节点虽然仍可工作，但RC延迟增加，电压衰减问题频发。

• 高阻短路 / 桥接缺陷：线路间出现意外弱连接，在特定电压、温度或开关条件下产生错误逻辑。

除这类外部制造缺陷外，SDE也可由电路临界状态、辐射，以及器件本征可靠性机理故障引发。

我们也可以结合芯片生命周期的浴盆曲线理解这类失效（见图1）。产品投产初期会出现早期失效，大量SDE就属于这类；运行一段时间后进入稳定使用期，失效概率低且随机；最终器件损耗效应显现，芯片会因负偏置温度不稳定性（NBTI）、热载流子注入（HCI）、与时间相关的介质击穿（TDDB）等机理失效。

图1：器件全生命周期半导体失效率。来源：西门子EDA

集群如何处理SDC

超大规模云厂商采用分层软件方案，检测静默数据损坏带来的运算异常，隔离服务器或芯片，运行诊断程序确认错误（故障通常局限于单个核心），隔离受损芯片等待更换。

Meta公开了三种集群SDC管控方案。第一，Fleetscanner工具将服务器下线，执行针对性计算测试，常在预防性维护阶段运行；测试输入已知结果，若CPU输出错误，就隔离设备开展排查。该公司近期提高测试频率，更全面巡检集群。

第二，服务器正常业务运行时，Meta的Ripple程序执行毫秒至秒级的简短测试向量运算，校验结果。第三种方案是Hardware Sentinel，分析应用异常与系统行为，识别核心级异常，无需占用独立测试负载。Meta称该方案独立于测试与硬件架构，在各类架构、应用、数据中心场景下，检测能力相比纯测试方案提升40%。

谷歌监控硬件，查找存在计算损坏问题的CPU或核心，同时依靠软件识别损坏相关特征。谷歌多层SDC软件防护策略包含：

• 端到端校验和；

• 冗余计算；

• 多副本结果比对；

• 不变量 / 断言检查；

• 系统内传输数据校验和；

• 静态数据定期核验。

谷歌的Spanner应用层遥测方案可检测数据损坏，将故障服务器移出集群。针对退回的故障硬件，谷歌优化筛选方案，在故障爆发前主动识别异常核心。

大量测试可捕获多数SDE

SDE有一个利好点：它不属于全新器件失效模式。SDE不会区分器件类型，逻辑电路、存储电路、时钟分发硬件都可能出现SDE；芯片的数据通路与控制通路出现概率相当。

但是逻辑硬件没有类似内存ECC纠错那样成熟有效的方案。proteanTecs的Bouchard表示：“ECC等技术对保护存储与传输数据价值巨大，但无法覆盖处理器全部逻辑通路。SDC可以由错误指令执行引发，输出结果看似合理。这也是根因分析难度极高的原因。”

英特尔工程师曾追踪一例SDE，根源是晶体管栅功函数金属台阶覆盖不足。台阶覆盖良好的晶体管工作正常；栅金属覆盖差的晶体管经探测，阈值电压高出30%，漏源驱动电流降低30%。该研究发现典型SDE缺陷是高阻开路，系统级写操作功能测试最容易检出这类缺陷。

为充分筛选会引发SDE的缺陷，英特尔开发大规模功能测试集，验证每一项运算输出结果正确。这套测试集包含核间、插槽间通信检测，各类片上缓存压力测试，以及几乎全部浮点、整数和数据处理指令，整合在数据中心诊断套件DCDiag中。

英特尔针对5代CPU、总计120万颗处理器开发测试时发现，需要DCDiag内1000多项功能测试，外加5000项合成压力测试，才能捕获全部SDE。英特尔David Lerner在报告中表示：“五代至强处理器测试证明，必须大规模、多样化的系统级功能测试，才能筛选会产生SDE的缺陷。每一款产品都需要独特测试组合实现有效筛选，需要表征数千颗SoC来构建最优测试方案。”

“大约50% 的缺陷，仅靠5% 的测试项就能检出；但要覆盖90% 的SDE缺陷，则需要超过一半（1000项）的测试用例”，如图2所示。遗憾的是，英特尔发现，为一代产品定制的测试套件，无法直接复用给下一代产品；现有产品数据不能作为新设计测试选型的可靠依据。

图2：对120万处理器执行1000项测试发现，超过70% 缺陷仅能被单一测试项检出。来源：英特尔

同样，英特尔使用约5000项合成压力测试，用来暴露最坏时序路径，同时校验每一项计算结果。很多故障仅能被单一压力测试捕获，所以需要海量测试用例完整检出SDE。这类测试感知硬件架构，专门覆盖DCDiag套件遗漏的失效机理。

传统测试漏检SDE的原因之一，是小延迟缺陷检测方法。Mukherjee称：“多数企业高度依赖传统跳变故障模型。时序感知、单元感知时序这类缺陷模型虽逐步普及，但都基于单输入翻转（SIS），仅允许一条输入发生跳变，其余输入保持恒定。但我们知道，单输入翻转未必模拟集成电路真实功能运行状态；文献也表明，多输入翻转（MIS）带来的传播延迟更大。换言之，限制多输入翻转，会造成路径延迟测试不足，小延迟缺陷因此漏检。”

Mukherjee进一步强调要拓展传统压力测试方法：“还有一个常被忽略的问题：现有测试方法未能很好适配多工艺角、多模式设计框架，延迟缺陷必须在不同PVT工艺角下定位，测试向量要适配全部工况。只有这样，测试场景才能贴近芯片实际片上运行环境。”

行业还需要基于电压、电流的智能压力测试。Mukherjee继续说道：“依赖老化、电压相关的传统压力测试，难以根除会表现为早期失效的隐性缺陷。对于高温工作寿命测试（HTOL），目前多数企业依靠翻转覆盖率或者临时方法生成向量，无法衡量对整体测试质量带来的影响。我们坚信，需要基于电压和电流的智能压力测试方案。一旦能够衡量压力测试覆盖率，就可以开发智能自动测试向量生成（ATPG）技术，补齐测试漏洞，实现对整个设计更全面的覆盖。”Mukherjee提到基于器件活动、缺陷驱动的压力测试模型正在发展，可以模拟器件压力状态，生成向量激活这类工况。“最后，我们需要配套可测试性设计（DFT）基础架构，让制造测试向量，也能在芯片投入使用后用于片上测试。”

AI也能发挥作用。新思科技Athavale表示：“识别数据集异常，诊断延迟、电压衰减等特征，有助于提前捕捉SDC故障前兆。AI/ML算法可以标记触发SDC早期信号的工况。硅生命周期管理方案，让芯片设计师在器件全周期监测、分析、优化芯片。设计师可以实时追踪器件、获取有效分析结论，最终在SDC爆发前完成检测。”

优化异常值检测是检出隐性缺陷的另一手段。proteanTecs的Brouchard称：“生产阶段，我们的异常检测方法结合参数测量与机器学习，建立器件预期模型，标记偏离模型的器件，增加一层缺陷筛选。方案包含时序裕量检测与IDDQ静态电流检测。分析平台训练模型，部署在自动测试设备上做在线判断。系统级测试时，时序分析可以发现功能负载下间歇性裕量衰减，这类问题短时间测试很难捕捉。”

总结

半导体行业对静默数据损坏及其表现形式已有大量研究，但开发最高效的测试策略，仍处在探索阶段。恩智浦He表示：“我们意识到SDE不是单一问题，而是多种失效机理的集合，这类故障会绕过传统检测手段，表现形式往往出人意料。工程师现在认识到，静默损坏可来自制造缺陷、工艺波动、时序临界状态、老化机理、电压波动、热效应，以及设计交互问题，这些都会绕开常规验证与量产测试。SDE调试最大难点之一，是故障表象和底层硬件缺陷之间关联很远。”

处理器本身往往不报故障。He说：“工程师看到的是损坏的数据库、AI模型异常、分析结果错误、软件崩溃，或是应用输出不一致。” 没有任何单一手段可以捕获全部SDE，He提出行业正在组合使用以下方案：

1. 片上监测模块 / 传感器，采集时序裕量；

2. 增强DFT，例如任务模式测试、路径延迟测试；

3. 深度功能测试，含随机数据流；

4. 集群层面监测器件异常行为；

5. 多样化指令组合、核间比对、冗余执行测试；

6. 系统级测试与片上测试，提升SDE检出能力。

总体而言，半导体测试正在从 “出货一次性测试” 转向持续品质监测。Bouchard说：“测试不再随芯片出货结束。器件出厂时裕量充足，后续会因老化、负载压力、环境或是供电、时钟等外部问题丢失裕量。行业需要全阶段可视能力，而不是孤立快照。例如在现场，实时健康监测持续跟踪时序裕量，生成性能指标，判断器件距离失效的远近，实现主动维护。”

但要实现质量的跨越式提升，更广泛的数据共享必不可少。爱德万测试Carulli称：“工程团队清楚协同的必要性，但企业法务与业务团队需要权衡财务影响。所以这类跨企业、跨领域难题，如果不更新协作方式，进展会比较缓慢。我们要加强生态内企业、高校之间的数据共享，提前攻克这个重要课题。”