本篇从实战的角度来讲下NPU的软硬件架构和NPU固件开发的一些设计方法。估计各家的NPU设计基本都有类似的思路，大的原理基本就是：

软件硬化，
存算一体，把数据和指令发射到NPU上去执行，
为了维护发射的队列，又新加了一些调度相关的软硬件，

本篇尽量讲的通用一些，让大家了解其原理。

1. NPU架构设计

NPU作为推理芯片去处理数据，数据在DDR里面，触发条件就是A核（linux）里面给NPU发中断，NPU接收到中断后会去DDR里面取数据进行处理。

DDR里面的数据很多，这时为了提高数据的吞吐率需要再加一个NPU的管理子系统，NPU调度器负责任务的分发和管理。NPU另外一个子系统就是算力子系统。

1.1 NPU管理子系统

运行调度程序需要有CPU核，一般这里使用频率高的RISC-V核心，且使用多个RISC-V核心去并行的调度，例如使用2个核，那就可以同时执行2个调度任务。

NPU管理子系统跟NPU算力子系统通信有：指令总线和DMA数据总线及通信数据总线

NPU管理子系统里面有SRAM，主要是给算力子系统和DDR直接做一层cache，提高速率。

1.2 NPU算力子系统

为了支持并行计算，里面有很多cluster作为管理单位，每个cluster通常有多个tile。

一个cluster作为一个管理单元会配置一个RISC-V核，辅助tile进行计算。当然也可以不使用cluster的概念直接一个RSIC-V一个tile，1:1的关系，不过就是成本高些。

tile就是执行具体的计算任务和指令。这里的很多个tile跟NPU调度器里面的4个RISC-V核有对应的调度关系。

每个tile上有SRAM（UM），tile和CCPU进行配合进行运算。SV是同步操作。

典型tile指令：

TCC的张量乘加计算，主要是矩阵乘和卷积运算
CVU的向量运算，主要是softmax和Relu使用
DMA数据搬运
VCS触发NPU计算子系统中RISCV核中断
UM数据搬运指令
TCE自定义指令
同步指令

2. 算法模型

NPU设计就是软件硬化，纯软件的推理就是使用Pytorch写的，这里以之前介绍的UniAD为例，UniAD就是利用多个Transformer进行组合，把自动驾驶的业务进行一个整合，Transformer是一个大脑的一个区域的话（听觉、视觉、推理、思考等的一个），他就是利用了大脑的多个区域一块进行判断综合给出判断，对业务来说是一种很大的创新，当然这种组合随着新的大脑区域的加入，或者某个区域的进化，以及组合方式的变化，甚至和非Transformer的AI模型进行组合所产生的效果各不相同，想UniAD这种也在被替代。

Transformer这种注意力机制有时更像一本正经的胡说八道，根据经验看似正确，符合逻辑，又感觉带了一定的思考在里面（慢模型），但是传统的一些针对特定领域的深度学习模型可能更快速更准确，纯经验类型的（快模型），但是其能力比较单一。

快模型：例如视觉保证不撞车，看见什么就执行什么
慢模型：有思考能力，就像把交规和人类思考方式都学了一遍，自动去判断怎么走了。

各种新的创新也就近一两年层出不穷，所以研究AI的要求背景比较强，上班很多时间都在看论文，门槛高，薪资也高，不是一般人能搞的。

本篇是NPU的硬件，但是其离不开软件，就是软件硬化的产物，所以下面来回顾下之前文章：AI SoC入门：14从Transformer大模型到端到端自动驾驶算法里面的UniAD相关知识：

2.1 UniAD组成

上图由四个transformer decoder-based 模块和一个planner模块组成。可分为6个部分。 Query Q（查询向量）在整个流程中都起着关键作用，连接各个模块。

2.1.1 Bev-feature摄像头感知检测

将一系列多摄像头图像输入到特征提取器中，然后将得到的透视视图特征通过BEVFormer中的BEV编码器转换为统一的鸟瞰视图（BEV）特征B。值得注意的是，UniAD并不局限于使用特定的BEV编码器，还可以使用其他替代方案来提取具有长期时间融合或多模态融合的更丰富的BEV表示。这种处理方式为自动驾驶系统提供了更全面和丰富的环境感知信息。

2.1.2 TrackerFormer跟踪动态物体

TrackFormer模块中可学习的参数叫做track queries. 它从BEV特征图B中query信息，来做到agent的检测和跟踪。
track queries是可学习的，代表agent及其状态。
track queries关注B以提取信息，并随时间更新其嵌入

对于 TrackFormer，使用 detection queries 进行新目标的检测，在此后只用 track queries 对每个目标进行追踪。TrackFormer 的输出包括只关注受控车本身的 ego-vehicle query，和 QA。MapFormer 输入 map tracker，输出 QM。

2.1.3 MapFormer分割静态地图

MapFormer是一个用于地图全景分割的模块，它使用地图query作为道路元素（例如车道和分隔线）的语义抽象，并对地图进行分割和分类。它还利用agent query和地图query之间的交互来捕捉agent和道路之间的关系，从而为下游的运动预测提供有用的信息。

2.1.4 MotionFormer运动预测

MotionFormer模块捕获了agent和地图之间的交互，并预测每个agent的未来轨迹。
由于每个agent的行动可能会显著影响场景中的其他agent，因此该模块对所有考虑的agent进行联合预测。
同时，我们设计了一个自车query，以显式地模拟自车，并使其能够与场景中的其他agent进行交互

2.1.5 OccFormer占用预测

OccFormer使用BEV特征B作为query，使用agent 的信息作为键和值，然后预测多步未来的占用情况，同时以agent为单位保留特征

这种设计使得系统能够在预测未来的占用情况时，考虑到每个智能体的特性和状态，从而提高了预测的准确性和可靠性

2.1.6 Planner规划

规划器利用来自MotionFormer的自我车辆query来预测规划结果，并避开由OccFormer预测的已占用区域，以避免碰撞。

UniAD 将原始导航信号（左转、右转、直行）转化为可学习的 embedding，并将此 embedding 和 ego-vehicle 结合得到 plan query。通过此 plan query 和 BEV 特征 B 的结合，可以被解码为最终的航路点 τ。

UniAD 的训练分两部分，首先单独训练 perception 模块，然后进行端到端的训练。

2.2 算法拆分

UniAD的算法原本在我们PC的Pytorch中用python语言实现的。但是要在SoC上去做软硬件结合实现，就需要对算法进行拆分：一部分在A核实现，一部分在NPU上实现，并且也不能使用python了，一般使用C++/C语言，然后编译运行也要在ARM或者RISC-V核上。

算法拆分：一般CPU先处理再给NPU处理。NPU侧就是执行的tile指令：TCC的张量乘加计算、CVU的向量运算、DMA数据搬运、VCS触发CCPU（RISCV核）中断、以及同步指令。一个tile指令对应的技术硬件就是算子。

NPU处理算法的时候，需要RISC-V去做调度和触发，也就是说触发NPU算子运行的指令是RISC-V编译器通过AI扩展指令编译出来的，RISC-V本来没有这些指令，因为这些指令对应的硬件是我们定制化设计的。那就需要改造编译器了，换个高大上的概念就是AI编译器。
对于算法拆分，把python转成c在写到不同的系统代码里面，而且RISC-V里面还需要对指令进行替换，编译运行效率比较慢，如果能直接将python编译成.so或者elf可执行程序在CPU和NPU上直接能运行那就可以大大提高拆分转换效率。这就需要使用编译中间产物MLIR，直接可以运行，而且可以自动的把算子跟python代码对应上。这种自动编译部署到不同硬件平台的就是图编译器。

CPU侧一般运行的linux直接调用.so文件就可以执行代码，对应elf代码有存算一体的概念，也就是说NPU的elf执行代码跟数据是放在一块进行搬运的，从DDR搬运到NPU调度器的SRAM里面。然后使用pipline发射给NPU处理子系统，NPU处理子系统把数据和elf拿到后，开始链接这个elf去执行。

3. 算法部署实现

一个整体的AI任务的处理流程：

AI APP业务调用AI推理引擎
AI推理引擎创建同步任务并准备数据到DDR
调用NPU调度器驱动去通过Mailbox告知NPU调度器
NPU调度器从队列中把存算一体数据拿到后给NPU进行发射执行
NPU执行后结果返回给NPU调度器再原路返回给AI推理引擎
AI推理引擎同步Tast接收到返回结果后再返回给AI APP

3.1 AI推理引擎

CPU侧有一个AI推理引擎供AI APP去使用，作为总的对外AI的入口。CPU作为话事人一般都是不干活的，干活的还是NPU。

AI推理引擎申请共享DDR空间，放入数据，然后（mailbox）中断通知NPU调度器，NPU调度器先使用DMA搬运DDR数据到SRAM，然后再通过中断去通知NPU去SRAM里面取数据进行计算。

DDR中的两种queue：

CPU计算使用：Stream Queue，存放计算Task和同步Task，CPU的用户去调用创建，计算Task包含NN Queue的队首和队尾，负责控制子图Task放入NPU中执行。
NPU计算使用：NN Queue。在推理引擎加载模型的时候创建，存放子图Task，这些子图Task作为一个模型，会在推理过程中一直使用，所以会一直存在内存中直到任务结束。

CPU中的两种Task：

计算Task：触发NPU进行推理工作
同步Task：等待NPU推理的完成

从软件层面来说AI推理引擎运行在CPU的Linux上，包括：

AI runtime（进程）：准备数据到DDR中，一般是由C++编写，AI APP也是C++，这点相对于C还是有优势的，面向对象语言跟AI更搭配。
NPU调度器驱动（内核硬件驱动）：提供NPU调度器的API文件节点，例如创建、销毁、Ioctl对于Stream Queue和NN Queue的操作

AI推理引擎要准备的数据就是存算一体在NPU中运行的，所以要包括二进制文件（elf）和元数据（metadata）两部分。

3.2 NPU调度器

NPU调度器把计算任务调度到NPU tile去执行，并完成计算任务的同步：

维护任务队列，调度一个任务去发中断给NPU
同步计算任务的结果给上层AI APP
管理NPU（电源状态等）
维测NPU异常处理等

SRAM：NPU调度器使用RISC-V核是一个独立的固件系统，其使用SRAM作为运行空间，也就是说启动的时候需要把NPU调度器固件的bin文件拷贝到这个SRAM里面，然后解复位RISC-V核去运行，里面的RTOS可以使用FreeRTOS。另外SRAM可以可以作为共享内存使用，以及cache缓存使用。

Mailbox：NPU调度器作为SoC中一个独立的系统，跟CPU子系统交互属于核间通信，需要有Mailbox的支持。

NPU调度器和NPU之间的为了实现高效控制，从硬件上设计了控制寄存器：

启动关机初始化相关
数据准备
中断
执行模式设置等

为什么需要NPU调度器，Linux为什么不直接去跟NPU算力子系统通信？
这里相当于把Linux的一个APP独立出来为一个RTOS+硬件，这样的好处就是专用，不受linux其他APP的业务影响，让整个自动驾驶的业务都有独享的硬件去保证，不跟其他业务共享使用。又快又好，就是成本比较高。如果为了节省成本，这个NPU管理子系统的活完全可以Linux去接管，但是时延、稳定性等可能会受Linux的影响。

NPU调度器的作用：把APP在CPU上提交的NPU计算任务进行调度到NPU Tile硬件去执行，并且同步执行状态机返回执行结果给CPU上的APP。还有一点是如果SoC上有多个AI APP，NPU调度器可以把这些AI任务进行汇总后去统一给到NPU去执行。

3.3 NPU

NPU中有管理子系统和计算子系统，并且两个子系统里面都有RISC-V核，所以有两个固件。

3.3.1 NPU管理固件

NPU管理固件主要负责跟NPU调度器进行交互，接收调度器下发的Task，管理NPU计算子系统中Tile资源，使用DMA给NPU计算子系统准备数据，调度推理任务中的数据发射给不同的Tile去执行，并获取执行结果反馈给NPU调度器。

跟NPU调度器的交互：

NPU管理子系统收到NPU调度器的中断后，获取对应的command
根据command里面的信息把DDR中的存算一体数据搬运到SRAM，
使用DMA给NPU计算机系统，NPU计算子系统中Tile接收到存算一体数据后，会给NPU计算子系统中的RISC-V发中断，辅助执行计算，最后返回结果给管理子系统
给NPU调度器返回结果

跟NPU计算子系统的总线：

控制链状总线 Instruction Chain Bus：用于发送指令广播
环状数据总线Data Ring Bus：数据广播
网格数据总线Mesh Bus：每个Tile都有数据接口接入，例如使用AXI，搬运数据从DDR到SRAM中使用

总线上都是运行的有协议，可以根据我们的硬件进行设计。广播的协议需要有地址，是对应地址的硬件才去处理。

3.3.2 NPU计算固件

Tile接收到存算一体数据后，会给NPU计算子系统中的RISC-V发中断，辅助执行计算。也就是说这个NPU计算固件是接收Tile中中断才开始工作，辅助计算，这些辅助计算主要是一些矢量计算，不是NPU固化的一些通用算法，属于定制化的一些算法。

从OS角度看，NPU计算固件不需要什么RTOS，直接运行Baremetal就可以，使用loop函数中运行多个协程就可以。例如一个cluster配备2个Tile和一个RISC-V，那就2个协程运行在RISC-V中，进行绑定服务。这样没有OS占用SRAM存放固件的空间也少，因为NPU计算子系统中带有大量的RISC-V。

NPU计算子系统里面有大量的Tile子模块，Tile里面负责NPU计算指令的执行，Tile里面集成了很多指令单元，这里就引入了算子的概念，上图里面就是Tile里面的大致组成。

3.4 算子

什么是算子？
其最初是一个数学概念，算子是一个函数空间到函数空间上的映射O：X→X。广义上的算子可以推广到任何空间，如内积空间等。在编程里面可以任务就是一个函数，入参就是X，输出就是Y。那么这个函数的实现就有软件实现和硬件实现两种方式。在NPU中一般指硬件算子，比较快速。当然对于不经常用的也可以软件算子实现，另外一些硬件算子的组合生成一个新的算子也可以用软件算子实现。
总结：算子软件角度看是函数，硬件角度看就是一条指令。

怎么调用NPU中的算子？就是需要执行指令，执行指令有指令的格式，指令的参数有自己的指令头格式，是NPU管理子系统通过控制总线广播给NPU Tile去执行。

3.4.1 TCC张量计算

之前讲解Transformer算法的文章：AI SoC入门：14从Transformer大模型到端到端自动驾驶算法中，注意力机制的计算如下：

其中用的的大量矩阵乘法运算：

算出qkv后，继续进行Attention训练：

详细不再展开，里面就是用到了大量的矩阵乘法和加法，而且使用的线性数据进行的运算。Transformer中的矩阵非常的大，进行矩阵乘法的时候，可以进行分块运算，就利用了计算机中并行的概念。

关于矩阵的运算，在数学上有很多优化的方法和公式，需要有一定的数学功底，也是AI的门槛，一些重要的创新就是在这上面，当然像Attention这种类脑机制（Transformer）和多个Transformer叠加（UniAD这种业务相关的）的涌现能力也跟厉害，可以说是革命性的。

上面是一些背景和基础知识，下面来介绍TCC：（Tensor Contraction Complex）张量收缩复杂运算指令，负责矩阵乘和卷积张量收缩运算，其是LLM大模型TensorFlow运算的主力计算指令。

TCC中的矩阵乘法进行的是线性运算，矩阵在内存中使用的一维数组进行存储，并且有时是不连续的，要提取出来每行每列就需要一个硬件TTU（Tensor Traversal Unit）张量遍历单元去把矩阵组织成一系列地址，通过这个地址序列访问一维数组就有多维数组的效果

矩阵乘法计算的结果可以传递给一个非线性单元，例如ReLU（Rectified Linear Unit，修正线性单元）激活函数：ReLU函数是一个简单的非线性函数，定义为f(x) = max(0, x)，它将所有的负值置为0，而正值保持不变。

激活函数的作用是引入非线性特性，使得神经网络能够学习和表示更复杂的函数关系。没有激活函数的神经网络（仅包含线性单元）只能表示线性关系，这极大地限制了其能力。
线性单元的输出在传递给激活函数之前，可以通过配置额外的参数（如BIAS和SCALE）进行调整。这里的BIAS和SCALE可以理解为对线性单元输出的进一步偏移和缩放。
为了提高计算效率和减少存储需求，有时会对权重和激活值进行量化。量化是指将浮点数（或其他高精度数值）转换为低精度数值（如整数）的过程。这可以通过减少表示每个数值所需的比特数来实现。非量化则表示使用原始的高精度数值进行计算。这段话说明该神经网络框架支持在必要时进行数据类型的量化与非量化转换，以适应不同的应用场景和需求。

关于矩阵乘法：

硬件在进行矩阵乘法的时候，并不是一个大矩阵进行计算，为了利用NPU并行处理的概念，会对大矩阵拆分成块，分块进行计算再进行汇总。
对于稀疏矩阵，对每一列或者行使用Mask进行0值标识，这样非0值就不参与存储和运算了

3.4.2 CVU向量运算

Configurable Vector Unit（可配置向量单元）CVU，其提供了加减乘除、查表比较等原子操作（可以看出算子），可以根据需要自己配置多个串起来进行使用，来实现复杂的功能（这是多个算子组合成了一个新算子）。

什么是向量？

计算相似度的时候，需要用到余弦相似度计算就要用到向量的运算。

3.4.3 DMA数据搬运

NPU计算子系统中有UM（Unified Memory），之前说NPU管理子系统里面也有一个SRAM，这里每个Tile里面也有自己的SRAM，这里有什么区别，首先越靠近计算的大小就越小，速度就越快，这引入了多级cache的概念。而且针对每个Tile的存储在硬件layout上也离计算中心更近，专用就可以帖一块，距离决定速度。

所以这里就是DMA数据搬运指令，把数据从NPU管理子系统的SRAM搬运到Tile里面的UM。

3.4.4 VCS中断

VCS指令中有条件，如果满足条件就会触发Tile对应的RISC-V CPU中断，借助RISC-V核去协助完成更复杂或者自定义的一些计算。

3.4.5 TCE定制引擎

Tile里面也有对应的RISC-V核，当NPU中硬件计算没有的东西，不那么通用，没必要搞一个硬件设计放入SoC，可以让RISC-V也计算一点，但是是通用CPU性能不行。这时如果可以定制一些硬件就好了，作为扩展使用。

定制的硬件一般是针对特定应用的场景中的计算，例如图形处理，音频处理等。另外TCE里面有一个单独的DMA负责UM和外部数据的相互搬运。

后记：
NPU相关的东西涉及的数学和AI以及计算机体系结构比较多，单个来说比较高深但是还可以搞懂，但是要综合起来对综合素质要求比较高，没搞过或者没见过的可能一头雾水。篇幅有限，这里只是初步介绍，后续继续来慢慢展开。

“啥都懂一点，啥都不精通，

干啥都能干，干啥啥不是，

专业入门劝退，堪称程序员杂家”。

欢迎各位有自己公众号的留言：申请转载！

纯干货持续更新，欢迎分享给朋友、点赞、收藏、在看、划线和评论交流！

彩蛋：

本公众号提供微信技术交流群，一起探讨汽车软件技术（先加微信：thatway1989，备注感兴趣的技术方向）。
有需要投放广告、商业合作的也可以联系博主。
赞赏1元钱交个朋友

阅读原文：https://mp.weixin.qq.com/s/whhBCH2EUzpmFy9hqW6x7g

AI-SoC入门：16NPU讲解1