softmax变区段非线性双拟合方法及其FPGA实现

作者：肖望勇; 张驾祥; 徐界铭; 谭会生^*

来源：湖南城市学院学报(自然科学版), 2021, 30(03): 56-60.

• 人工神经网络
• softmax
• 变区段非线性拟合
• python
• FPGA

针对采用分段非线性拟合逼近法拟合人工神经网络中的softmax时,会出现一些区间误差较大的问题,本文提出了一种基于初次拟合误差的变区段非线性双拟合方法.该拟合方法的基本步骤是:首先,结合softmax的指数函数特性,通过均匀分段和随机分段的非线性拟合找出误差较大的区间;其次,根据区间误差的大小,选择合适的变区段进行第2次非线性拟合,误差大的区间选择分段小的区间,误差小的区间选择分段大的区间;最后,运用python进行softmax的拟合逼近实验,并在FPGA上实现.实验结果表明,该方法不仅解决了使用分段非线性拟合逼近法拟合softmax时会出现一些区间误差较大的问题,整体上还能保持较高的精度,其绝对误差保持在0.015以下,相对误差保持在1.2%以内;同时,运用FPGA实现了纳秒级别的良好实时性,单次运算平均时间约为3.75 ns.

• 单位
  湖南工业大学