面向视觉问答的多模块协同注意模型

作者：邹品荣; 肖锋^*; 张文娟; 张万玉; 王晨阳

来源：计算机工程, 2022, 48(02): 250-260.

DOI：10.19678/j.issn.1000-3428.0061159

• 视觉问答
• 注意力机制
• 图注意网络
• 关系推理
• 多模态学习
• 特征融合

视觉问答(VQA)是计算机视觉和自然语言处理领域中典型的多模态问题,然而传统VQA模型忽略了双模态中语义信息的动态关系和不同区域间丰富的空间结构。提出一种新的多模块协同注意力模型,对视觉场景中对象间关系的动态交互和文本上下文表示进行充分理解,根据图注意力机制建模不同类型对象间关系,学习问题的自适应关系表示,将问题特征和带关系属性的视觉关系通过协同注意编码,加强问题词与对应图像区域间的依赖性,通过注意力增强模块提升模型的拟合能力。在开放数据集VQA 2.0和VQA-CP v2上的实验结果表明,该模型在"总体"、"是/否"、"计数"和"其他"类别问题上的精确度明显优于DA-NTN、ReGAT和ODA-GCN等对比方法,可有效提升视觉问答的准确率。

• 单位
  西安工业大学