科研之友
微信
新浪微博
Facebook
分享链接
摘要
跨媒体检索是集成媒体数据表示学习与媒体数据信息对齐的检索方式，现有的跨媒体表示学习方法没有将单一媒体数据表示学习的先进方法集成应用，在跨媒体信息高层表示方面缺乏有效语义对齐。提出一种预训练表示学习的端到端跨媒体检索方法，该方法采用先进的预训练表示学习方法，分别利用残差网络(ResNet)和BERT模型抽取图像和文本高层表示特征，然后利用自注意力机制挖掘跨媒体数据的语义关联，实现跨媒体信息的语义对齐。以平均精度均值作为评价指标，在3个广泛使用的跨媒体数据集上验证了模型的有效性。实验表明，所提方法在3个数据集上的平均精度均值都优于其他几种对比方法。
-
单位信息工程大学
