神经网络训练处理器的浮点运算优化架构

作者：张立博; 李昌伟; 齐伟; 王刚; 戚鲁凤

来源：计算机测量与控制, 2023, 31(06): 176-182.

DOI：10.16526/j.cnki.11-4762/tp.2023.06.027

• 卷积神经网络
• 浮点运算
• 加速器
• 权重梯度
• 处理器

针对神经网络训练加速器中存在权重梯度计算效率低的问题，设计了一种高性能卷积神经网络(CNN)训练处理器的浮点运算优化架构；在分析CNN训练架构基本原理的基础上，提出了包括32 bit、24 bit、16 bit和混合精度的训练优化架构，从而找到适用于低能耗且更小尺寸边缘设备的最佳浮点格式；通过现场可编程门阵列(FPGA)验证了加速器引擎可用于MNIST手写数字数据集的推理和训练，利用24 bit自定义浮点格式与16 bit脑浮点格式相结合构成混合卷积24 bit浮点格式的准确率可达到93%以上；运用台积电55 nm芯片实现优化混合精度加速器，训练每幅图像的能耗为8.51μJ。