基于残差注意力网络的跨媒体检索方法

作者：冯姣^*; 陆昶谕

来源：计算机科学, 2021, 48(S1): 122-126.

• 跨媒体检索
• 注意力机制
• 残差神经网络
• 联合损失函数

随着多媒体技术的快速发展,跨媒体检索逐渐替代传统的单媒体检索成为主流的信息检索方式。现有跨媒体检索方法复杂度高,且不能充分挖掘数据的细节特征,在映射的过程中会产生偏移,难以学习到精准的数据关联。针对上述问题,提出了一种基于残差注意力网络的跨媒体检索方法。首先,为了更好地提取不同媒体数据的关键特征,同时简化跨媒体检索模型,提出了融入注意力机制的残差神经网络。然后,提出了跨媒体检索联合损失函数,通过约束网络的映射过程,增强网络的语义辨别能力,提高网络检索精度。实验结果表明,与现有的一些方法对比,本文提出的基于残差注意力网络的跨媒体检索方法能够较好地学习到不同媒体数据之间的关联,有效地提高了跨媒体检索的精度。

• 单位
  南京信息工程大学