摘要

为了提高自注意力网络的图像识别效果,对通道域自注意力机制存在的梯度死亡的问题,提出了一种优化算法。首先聚集特征在空间范围上的全局特征响应,然后使用新的激活函数对通道关系建模,构造通道权重响应。将改进后的通道域自注意力模块使用于神经网络分类器中,在CIFAR-10和CIFAR-100数据集上进行实验,结果显示,和传统模型相比,图像识别准确率提高了1.3%和1.4%,验证了所提算法的有效性。