一种高效的Softmax函数计算方法及硬件电路

作者：刘海莹; 乔瑞秀; 陈刚; 鲁华祥; 申荣铉

来源：微电子学与计算机, 2024, 41(02): 91-100.

DOI：10.19304/J.ISSN1000-7180.2023.0141

• Softmax函数
• 分段线性拟合
• 稀疏计算方式
• 深度神经网络

针对现有Softmax函数硬件实现中存在的面积消耗大、速度慢、计算效率低等问题，设计一种高效的Softmax函数计算方法及硬件电路。提出一种稀疏化最大值计算方式，仅选择有效的输入值进行计算和存储，并采用动态移位更新最大值的方式将最大值求取隐藏在流水线中，提高计算效率；优化分段线性拟合算法，避免乘法器的使用，减少了硬件资源开销。基于现场可编程门阵列（Field-Programmable Gate Array,FPGA）的语音识别实验的结果表明，本方法减少了60%的指数存储需求，同时减少了50%的Softmax计算时间。在45 nm互补金属氧化物半导体（Complementary Metal Oxide Semiconductor, CMOS）工艺下的逻辑综合实验表明，所实现的Softmax函数相较之前的工作，电路综合性能提升14%，面积减小51%。

• 单位
  中国科学院半导体研究所; 中国科学院大学