科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对向卷积神经网络中嵌入注意力机制模块提高模型应用精度会增加参数和计算量的问题，提出了基于挤压激励的轻量化高度维度挤压激励模块（HD-SE）和宽度维度挤压激励模块（WD-SE）。为了充分利用特征图中潜在的信息，HDSE对卷积层输出的特征图在高度维度上进行挤压激励操作，获得高度维度上的权重信息。WD-SE是在宽度维度上进行挤压激励操作，得到特征图宽度维度上的权重信息。将权重信息应用于对应维度的特征图张量，提高模型应用精度。将HD-SE模块与WD-SE模块分别嵌入到VGG16、ResNet56、MobileNetV1和MobileNetV2模型中，在CIFAR10和CIFAR100数据集上进行实验。实验结果总体表明，与挤压激励模块、协调注意力模块、卷积块注意力模块和高效通道注意力模块相比较，HDSE与WD-SE向网络模型中增加的参数和计算量更少，在CIFAR10、CIFAR100上的精度相似，甚至更高。
- 单位
