科研之友
微信
新浪微博
Facebook
分享链接
摘要
注意力机制的出现和应用在一定程度上改善了神经网络对全局信息应用不足的缺陷，但常见的注意力机制模块也同样存在感受野小，无法关注全局信息的问题。而某些全局注意力机制模块则计算成本过高。为此，本文提出了一种基于卷积、池化、对比方法的轻量化注意力模块——全局采样空间注意力模块。对于深度网络推理过程中部分模块输出的中间特征图，该注意力模块通过对比差值的形式获取所需要的空间注意力图。全局采样空间注意力机制模块是一种轻量化的通用模块，能够直接置入卷积神经网络中，成本增加几乎可以忽略不计，并且能够与网络一同进行端到端训练。模块主要在随机抽取的部分ImageNet-1K数据集和团队自制的“低慢小”无人机数据集中进行了验证。实验结果显示，提出的模块在图像分类和小目标检测识别任务中分别具备1%至3%左右的提升效果，证明了模块的性能与在小目标检测方面的适用性。
-
单位工业和信息化部; 北京理工大学
