基于多视图并行的可配置卷积神经网络加速器设计

作者：应三丛; 彭铃^*

来源：工程科学与技术, 2022, 54(02): 188-195.

DOI：10.15961/j.jsuese.202100299

• 卷积神经网络
• 多视图并行
• 可配置
• 片上系统
• 复用
• 第五代精简指令集

针对商用中央处理单元（central processing unit,CPU）的专用许可证授权费用高和卷积神经网络性能待提升等问题，设计了一种基于多视图并行且具有可配置性的卷积神经网络加速器，同时结合第五代精简指令集（reduced instruction set computing, RISC-V）构建该加速器的片上系统。首先，扩展一组适用高速协加速器的控制访问接口和数据访问接口。其次，以多视图并行与结构复用的方式实现卷积神经网络各运算单元：视图并行的不同组合将影响卷积单元硬件电路结构，因此多视图并行可通过复用基本运算结构来完成；池化单元由行池化和列池化子单元构成，且共享行池化的运算结构；对于全连接单元，采用调整全连接运算参数的方法来适应卷积单元的硬件结构，从而完成模型间的复用。然后，针对不同运算单元的硬件结构设计不同寄存器组，并结合开源RISC-V处理器实现多种网络模型。最后，在不同平台分别部署卷积、池化和全连接模型，计算运算时间、吞吐量和速度等。实验结果表明，对于相同卷积结构，本文设计的加速器和CPU平台的速度比是189。在本文设计的加速器中部署视觉几何组（visual geometry group,VGG）的卷积运算，其吞吐量可达178.6 GOPS。综上所述，利用多视图并行能够达到加速效果，且以配置寄存器方式可实现不同网络模型。

• 单位
  四川大学