一种嵌入式计算平台的Sigmoid函数优化方法

作者：林钰棽; 魏云龙; 陈琪琪; 张威; 邱志敏

来源：小型微型计算机系统, 2021, 42(10): 2053-2058.

DOI：10.3969/j.issn.1000-1220.2021.10.007

• Sigmoid激活函数
• 非线性拟合
• 分段极限近似法
• ARM Cortex-M
• BP神经网络

Sigmoid函数作为人工神经网络常用的激活函数,属于超越函数.传统的计算方法复杂度高、资源消耗大,在嵌入式平台上计算效率较低,针对此问题,本文提出一种新的优化方法——分段极限近似法.首先根据Sigmoid函数在中间变化快、两端变化缓慢的特点,将其分为常数区和非线性拟合区;其次,根据第2个重要极限公式将Sigmoid函数中的e指数计算转换为log2n次乘法计算,简化e指数计算进而降低Sigmoid函数运算复杂度.最后,在嵌入式计算平台上建立BP神经网络并利用UCI经典数据集对所提出的方法进行验证.实验结果表明在ARM Cortex-M平台上实现Sigmoid函数,利用分段极限近似法比利用标准C math库的exp函数实现在运算速度上提高23.67倍,同时其拟合误差在平均绝对误差小于0.001的情况下不会造成神经网络判别准确率的下降.

• 单位
  华南理工大学; 电子信息工程学院; 北京航空航天大学; 中国科学院大学; 中国科学院长春光学精密机械与物理研究所