(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216249.7 (22)申请日 2022.09.30 (71)申请人 上海励驰半导体有限公司 地址 200000 上海市浦东 新区自由贸易试 验区祥科路1 11号2号楼 217室 (72)发明人 吴珺媛　王宇　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 专利代理师 周伟 (51)Int.Cl. G06N 3/063(2006.01) G06F 17/16(2006.01) (54)发明名称 脉动阵列、 脉动阵列系统及其运算方法、 装 置、 存储介质 (57)摘要 本公开提供了一种脉动阵列、 脉动阵列系统 及其运算方法、 装置、 存储介质， 通过根据接收的 工作指令， 确定工作指令所指示的工作模式； 当 工作模式为排序模式时， 通过在阵列控制器发送 的第一控制信号分配给脉动阵列中各个基础运 算单元的控制寄存器第一配置值之后， 逐个将特 征缓存器的第一特征数据输入脉动阵列进行排 序操作， 并经由输出缓存器输出第一数据结果， 回传至系统总线， 其中， 脉动阵列中的各个基础 运算单元包括比较器， 能够在加速神经网络卷积 运算的同时， 实现排序功能， 避免了将数据搬运 到其他设备上进行排序的操作， 节省了运算时间 和带宽， 并提高了脉动阵列本身在运算中的利用 率。 权利要求书3页 说明书13页 附图6页 CN 115423085 A 2022.12.02 CN 115423085 A 1.一种脉动阵列， 其特 征在于， 包括： 矩阵式排列 连接的多个基础运算单元， 其中， 每个基础运算单元包括特征输入寄存器、 比较器、 结果缓存器以及控制寄存器， 用于在排序模式下完成排序； 所述特征输入寄存器， 用于存 储第一特 征数据； 所述结果缓存器， 用于暂存第一临时数据； 所述比较器分别与 所述特征输入寄存器和所述结果缓存器连接， 用于逐次比较所述特 征输入寄存器输入的第一特 征数据与所述结果缓存器暂存的第一临时数据； 所述控制寄存器分别与所述特征输入寄存器、 所述结果缓存器和所述比较器连接， 用 于控制将所述特征输入寄存器的第一特征数据和所述结果缓存器暂存的第一临时数据输 入所述比较器， 将比较结果分别输出至所述结果缓存器与下一基础运算单元的特征输入寄 存器内， 并在排序结束后， 将最后存储于所述结果缓存器内的第一临时数据作为第一数据 结果进行输出。 2.根据权利要求1所述的脉动阵列， 其特 征在于， 所述比较 器具体用于： 逐次比较所述特征输入寄存器输入的第一特征数据与所述结果缓存器暂存的第一临 时数据的大小； 根据预设排序规则， 将符合第一排序条件的特征数据作为新的第一临时数 据， 并将符合第二排序条件的特征数据作为所述下一基础运算单元的特征输入寄存器内的 第一特征数据； 相应的， 所述控制寄存器具体用于： 控制将所述新的第一临时数据输出至所述结果缓 存器， 并将符合所述第二排序条件的特征数据输出至所述下一基础运算单元的特征输入寄 存器内。 3.根据权利要求1所述的脉动阵列， 其特 征在于， 还 包括： 每个基础运算单元包括权重输入寄存器和乘加器， 用于在卷积模式下完成卷积运算； 其中， 所述权重输入寄存器， 用于存 储权重数据； 所述乘加器分别与所述特征输入寄存器、 所述权重输入寄存器和所述结果缓存器连 接， 用于将所述结果缓存器暂存的第二临时数据作为累计加数， 逐次计算所述特征输入寄 存器输入的第二特征数据和所述权重输入寄存器输入的权重数据的乘法运算， 并将 计算结 果作为新的第二临时数据进行储 存； 相应的， 所述特 征输入寄存器， 用于存 储第二特 征数据； 所述控制寄存器分别与所述权重输入寄存器和所述乘加器连接， 用于控制 将所述权重 输入寄存器的权重数据、 所述特征输入寄存器的第二特征数据以及所述结果缓存器暂存的 第二临时数据输入所述乘加器， 在完成当前计算周期后， 分别将所述第二特征数据传输至 第一相邻基础运算单元的特征输入寄存器的特征输入寄存器以及将所述权重数据传输至 第二相邻基础运算单元 的权重输入寄存器， 并在卷积运算结束后， 将最后存储于所述结果 缓存器内的第二临时数据作为第二数据结果进行输出。 4.一种脉动阵列系统， 其特征在于， 包括： 权利要求1 ‑3中任一项所述的脉动阵列， 系统 总线、 阵列控制器、 特 征缓存器以及输出缓存器， 用于在排序模式下完成排序操作； 其中， 所述系统总线分别与所述阵列控制器、 所述特征缓存器以及所述输出缓存器连接， 用 于向所述阵列控制器发送第一控制指令， 并在排序结束后， 接 收所述输出缓存器上传的第权　利　要　求　书 1/3 页 2 CN 115423085 A 2一数据结果； 所述阵列控制器分别与所述特征缓存器、 所述脉动阵列以及所述输出缓存器连接， 用 于在根据所述第一控制指 令发送第一控制 信号后， 控制将第一特征数据输入所述特征缓存 器， 在分配给所述脉动阵列中各个基础运算单元 的控制寄存器第一配置值后， 逐个将所述 特征缓存器内的第一特征数据输入所述脉动阵列进行排序操作， 并在排序结束后， 将第一 数据结果传输至所述输出缓存器， 其中， 所述第一特征数据为神经网络模型产生的多个候 选检测框分值。 5.根据权利要求4所述的脉动阵列系统， 其中， 所述排序模式为topk算法排序， 所述阵 列控制器还用于： 逐个将所述第 一特征数据输入k个基础运算单元进行排序操作， 且在第 k个基础运算单 元内， 将符合第二排序条件的特征数据进行丢弃处理， 得到具有排序特征的k个数据结果， 并将所述具有排序特 征的k个数据结果作为所述第一数据结果进行输出。 6.根据权利要求 4所述的脉动阵列系统， 其特 征在于， 还 包括： 权重缓存器， 分别与所述系统总 线、 所述阵列控制器以及所述脉动阵列连接， 用于在卷 积模式下完成卷积运 算； 相应的， 所述系统总线还用于向所述阵列控制器发送第二控制指令， 并在卷积运算结 束后， 接收所述输出缓存器上传的第二数据结果； 所述阵列控制器还用于在根据 所述第二控制指令发送第 二控制信号后， 分配给所述脉 动阵列中各个基础运算单元的控制寄存器第二配置值， 并分别将所述特征缓存器内的第二 特征数据和所述权重缓存器内的权重数据作为两列对应数据， 按照预设顺序逐个输入所述 脉动阵列进 行卷积计算， 并在卷积运算结束后， 将第二数据结果传输至所述输出缓存器， 其 中， 所述权重数据为按照第一预设格式排列的卷积窗数据， 所述第二特征数据为按照第二 预设格式排列的图像数据。 7.一种脉动阵列系统的运 算方法， 应用于脉动阵列系统， 其特 征在于， 包括： 根据接收的工作指令， 确定所述工作指令所指示的工作模式； 当所述工作模式为排序模式时， 通过在阵列控制器发送的第 一控制信号分配给脉动阵 列中各个基础运算单元的控制寄存器第一配置值之后， 逐个将特征缓存器的第一特征数据 输入所述脉动阵列进 行排序操作， 并经由输出缓存器输出第一数据结果， 回传至系统总线， 其中， 所述脉动阵列中的各个基础运算单元包括比较器， 所述特征缓存器的第一特征数据 为神经网络模型产生的多个候选检测框分值。 8.根据权利要求7所述的方法， 其特征在于， 所述根据接收的工作指令， 确定所述工作 指令所指示的工作模式， 包括： 根据接收的工作指令， 由系统总线向所述阵列控制器发送第一控制指令， 并根据所述 第一控制指令， 确定所述阵列控制器的第一控制信号。 9.根据权利要求8所述的方法， 其中， 所述排序模式为topk算法排序， 逐个将特征缓存 器的第一特征数据输入所述脉动阵列进行排序操作， 经 由输出缓存器输出第一数据结果， 包括： 逐个将所述特征缓存器的第 一特征数据输入所述脉动阵列内的k个基础运算单元进行 排序操作， 得到具有排序特 征的k个数据结果；权　利　要　求　书 2/3 页 3 CN 115423085 A 3