激活函数的发展综述及其性质分析

作者：张焕; 张庆^*; 于纪言

来源：西华大学学报(自然科学版), 2021, 40(04): 1-10.

• 深度学习
• 卷积神经网络
• 激活函数
• 反向传播
• ReLU

为深入研究激活函数的作用机制,探讨优良激活函数应具备的性质,以提高卷积神经网络模型的泛化能力,文章综述了激活函数的发展,分析得到优良激活函数应具备的性质。激活函数大体可分为"S型"激活函数、"ReLU型"激活函数、组合型激活函数、其他类型激活函数。在深度学习发展初期,"S型"激活函数得到了广泛应用。随着网络模型的加深,"S型"激活函数出现了"梯度消失"问题。ReLU激活函数的出现缓解了这一问题,但ReLU负半轴"置0"则引入了"神经元坏死"的问题。随后出现的改进激活函数大多基于ReLU负半轴进行改动,以缓减"神经元坏死"。文章最后以多层感知机为例,推导了优良激活函数在前向、反向传播中的作用,并得出其应该具备的性质。

• 单位
  南京理工大学