基于ArcReLU激活函数的优化研究

作者：徐菲菲^*; 许赟杰

来源：上海电力大学学报, 2021, 37(05): 507-511.

• 神经网络
• 激活函数
• 反正切函数
• ArcReLU

对常用的激活函数进行了研究比较。对曾经提出的一种新型激活函数ArcReLU进行了改进,使其具有更快的收敛速度和更低的计算消耗。实验证明,改进的ArcReLU函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差,甚至能避免梯度消失的问题。

• 单位
  上海电力大学