SoC越复杂，NoC越关键！

当今的高阶系统单芯片(SoC)高度依赖精密的芯片网路(network-on-chip，NoC)技术，以达到高效能与可扩充性。随着人工智能(AI)、高效能运算(HPC)以及其他运算密集型应用的需求持续演进，新一代SoC设计需要更智能、更高效率的NoC解决方案，才能因应这些挑战。

尽管这些技术进步带来令人振奋的机会，同时也伴随着重大挑战。SoC设计人员面临架构快速扩展、上市时间压力、专业人才短缺、资源利用率不佳以及各种不同的设计工具链等问题。

SoC复杂度呈指数级成长

近年来，制程技术与设计工具的进步，使SoC设计已达到前所未有的复杂程度。如今的SoC通常包含50到500个以上的IP模组(IP Block)，其中包括处理器核心、存储器控制器，以及专为AI和绘图运算设计的加速器。

过去，这些IP Block只包含数万个晶体管，现在已扩展至包含100万到超过10亿个晶体管，导致SoC的整体晶体管数量达到惊人的10亿到1,000亿颗以上，反映出规模和复杂度均呈指数级增加，如图1所示。

图1：图中强调晶体管预算增加与使用IP Block之间的关系。

这种IP Block与晶体管密度的增加，促使SoC采用多处理器丛集(Processor Cluster)的先进架构持续进展。一般来说，在主流设计中，每个丛集包含8个或更多核心，而高效能配置甚至可达32个核心以上。

如今，这些处理器丛集并进一步被组织成阵列，以提供大规模平行运算能力。此外，为了确保无缝的资料传输与可扩展性，这些先进设计中还整合了HBM控制器、专用AI加速器，以及高度复杂的NoC互连系统等。

SoC设计面临诸多挑战

随着架构日益复杂，设计人员面临前所未有的压力，他们必须克服种种障碍，并采用创新的解决方案，以跟上产业需求的脚步。以下是几项主要挑战：

• 上市时间压力：现代SoC设计面临激烈竞争，产品延迟上市可能导致重大的营收损失和市场占有率下滑。传统方法(例如手动NoC配置)需要耗费大量时间，通常需要数周或数个月，这在节奏快速变动的市场已无以为继。

• 专业人才短缺： SoC设计对专业技能的需求成长速度远超过人才供应。工程团队往往工作负担过重，导致资深专家花太多时间在重复性的手动任务上，而非策略性的高价值设计决策。

• 资源利用率低：传统手动设计方法通常会造成效率不彰，例如过长的连线线路、耗电量增加以及布局拥挤等，进而影响整体效能，而且还增加了设计复杂度和生产成本。

• 工具链分散： SoC设计流程的碎片化导致设计瓶颈，从平面规划(floorplanning)、连接性设计到物理设计各阶段分别使用不同工具，不仅缺乏整合性，也使设计闭包(design closure)变得困难，并影响一致性。

随着设计复杂度持续攀升，未来仍需更多技术突破来因应新的挑战。这包括采用自动化的设计方法、提升人才培训、增强团队的专业能力，以及整合工具链来简化工作流程并提升效率。 

图2：基本的NoC设计配置

NoC的关键角色与拓扑设计

为了应对如此前所未有的挑战，先进的NoC互连技术成为关键，它们是SoC内部高效资料传输与通讯的骨干。这些芯片内网路允许大量IP Block的无缝整合。此外，高阶SoC通常采用多个NoC，每个NoC针对特定任务或子系统量身打造，以满足不同芯片区域的各种通讯需求。

根据不同的应用需求，这些NoC可能会采用各种拓朴结构(如图3)：

• 环状结构(Ring)：适用于低延迟通讯

• 树状结构(Tree)：便于分层组织

• 网状结构(Mesh)：提供更佳的可扩展性与灵活性

为了因应晶体管密度与效能的挑战，3D堆叠技术(3D stacking)正逐渐被广泛采用。相较于传统的2D设计，这些方法垂直整合了多层逻辑和存储器，能提供更高的频宽并降低延迟。然而，3D堆叠也为NoC设计带来更多的复杂性，例如管理层间通讯与热限制，这些都需要创新的互连解决方案。

图3：各种NoC拓扑

设计人员亟需更智能的NoC解决方案

在市场快速成长的带动下，面对新一波的SoC设计复杂度与挑战，设计团队正承受极限压力。将设计划分为较小的IP Block是一种有效的管理方式，并得以简化个别的设计任务。

但这也带来新的难题——即如何确保这些IP Block间能够无缝整合，形成高效且完整的SoC。因为在整合过程中往往会发现意想不到的问题，例如介面不匹配、时序冲突和资源争用等，这些问题可能严重影响效能并延误产品上市时间。

随着SoC设计加入越来越复杂的元件，例如导入了AI加速器和先进的互连系统，整合的挑战变得更加明显。例如，神经处理器单元(NPU)和NoC技术的演进，突显了SoC架构复杂性的快速成长。

早期的NPU主要基于乘法累加(MAC)运算阵列的方式实施。相较之下，现今的NPU更为先进，能以处理元件(PE)阵列的方式实施，所有元件都透过各自的网状拓朴NoC互连。

同样地，NoC技术也有显著的进步。第一代NoC需要手动布局与实作，包括流水线阶段插入，到具备物理感知功能的NoC技术自动生成与最佳化。

最新一代的NoC支援更高阶的功能，如软性区块化技术(soft tiling)，可自动复制处理单元(PU)，例如高阶SoC中的处理器丛集或NPU中的PE。它还能自动生成NoC，并配置与每个PU相关的网路介面单元(NIU)，使其具有唯一的位址。

利用NoC技术加速AI SoC开发

在SoC设计中采用NoC技术经证实能有效减少布线拥塞并降低功耗。物理感知和NoC启用的Soft Tiling等新功能更有助于加速开发流程、大幅提高生产力、促进可扩展性、缩短上市时间并减少风险，特别是针对AI应用SoC提升设计重用率，这涵盖机器学习(ML)与推论等AI应用场景。