科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着互联网技术的极速发展,不同模态的多媒体数据呈指数增长,人们已经无法满足于原始的图片检索的单模态数据检索方式,跨模态的多媒体检索成为信息检索的一个重要研究领域。针对该任务,提出一种增加句子依存关系词组注意力机制的双分支网络结构跨模态检索方法。该方法基于CNN模型提取图像特征,基于句法结构分析获得文本的依存关系片段,构建双分支网络结构模型,并嵌入注意力机制学习各依存关系片段的权重分布,使文本的特征表示能够更偏重于关键的句子片段特征。实验结果表明该方法相比于其他方法在P@K检索准确率评估指标上都有较好的提高,验证了算法的有效性。
- 单位
