为解决ReLU函数负区域取值为0而引发的对应权重无法更新的问题，提出了新的激活函数S-ReLU。该函数在负区域具有软饱和性，增加了负样本数据的关注度。通过赋予负区域输出值较小的导数，促进了负输入值的反向传播，提高了模型的鲁棒性。通过与其他常见激活函数在数据集MNIST、CIFAR-10上使用LeNet-5模型的对比实验，探究基于S-ReLU激活函数的图像分类效果。实验结果表明，对于MNIST和CIFAR-10数据集，相比使用其他激活函数，S-ReLU函数提高了模型的分类精度。
科研之友
微信
新浪微博
Facebook
分享链接
