针对视觉问答任务中问题特征与图像特征缺乏交互推理关系的问题,提出了图像与问题双引导注意力机制视觉问答算法。模型结构主要由问题特征注意力模块、图像特征注意力模块、问题与图像双引导注意力模块、特征融合模块4部分构成。该算法先针对问题特征和图像特征分别使用自我注意力机制实现特征的自我加强,然后引入图像与问题双引导注意力机制,最后使用线性分类器分类输出。在VQA V2.0数据集上实验验证,该算法表现出较好的性能,准确率达到70.98%。
科研之友
微信
新浪微博
Facebook
分享链接
