基于对称注意力机制的视觉问答系统

作者：路静; 吴春雷^*; 王雷全

来源：计算机系统应用, 2021, 30(05): 114-119.

DOI：10.15888/j.cnki.csa.007925

• 视觉问答
• 注意力机制
• 对称注意力
• 卷积神经网络
• 特征提取

近年来,基于图像视觉特征与问题文本特征融合的视觉问答(VQA)引起了研究者们的广泛关注.现有的大部分模型都是通过聚集图像区域和疑问词对的相似性,采用注意力机制和密集迭代操作进行细粒度交互和匹配,忽略了图像区域和问题词的自相关信息.本文提出了一种基于对称注意力机制的模型架构,能够有效利用图片和问题之间具有的语义关联,进而减少整体语义理解上的偏差,以提高答案预测的准确性.本文在VQA2.0数据集上进行了实验,实验结果表明基于对称注意力机制的模型与基线模型相比具有明显的优越性.

• 单位
  中国石油大学（华东）