Sigmoid函数的低复杂度概率分段线性拟合法

作者：NGUYEN Van-Truong; 蔡觉平; 魏琳育; 褚洁

来源：西安电子科技大学学报, 2020, 47(03): 58-65.

DOI：10.19665/j.issn1001-2400.2020.03.008

• Sigmoid函数
• 概率
• 神经网络
• 分段线性拟合
• 现场可编程门阵列

针对传统的Sigmoid激活函数拟合方法准确度不高、消耗大量资源等问题,提出了一种基于各层神经元值分布概率的Sigmoid函数分段线性拟合方法,以便在仅使用加法电路的情况下,提高神经网络的识别精度。首先以Sigmoid函数的二阶导数为基础,将Sigmoid函数划分为3个固定区域;其次根据每层神经元值的概率变化,将每个固定区域的曲线再划分成不同数量、长度的子区域,以减少近似误差,提高识别精度。分段线性函数斜率设为2-n,有效地降低了Sigmoid函数的硬件实现复杂度。最后,设计了拟合函数的硬件电路结构,并在Xilinx FPGA-XC7A200T上实现MNIST手写数字识别,对所提出的拟合方法进行验证。实验结果表明,该方法的识别准确率在深度神经网络中约达到97.45%,而在卷积神经网络中约达到98.42%。与其他仅使用加法电路的拟合方法对比,准确率分别提高了约0.84%和0.57%。

• 单位
  西安电子科技大学