科研之友
微信
新浪微博
Facebook
分享链接
摘要
不同媒体数据间由于存在严重的异构鸿沟和语义鸿沟，而不能直接计算它们之间的语义相似度，从而影响了跨媒体检索的实现和效果。当前提出的共同子空间学习虽能实现跨媒体语义关联和检索，但多采用一般的特征提取技术，且在语义匹配时的分类效果较差，不能有效实现跨媒体数据的高层语义关联计算，影响了检索效果。对此，提出Stacking-DSCM-WR跨媒体关联方法，用于文档和图像之间的跨媒体检索。该方法基于词向量技术形成文档的特征表示向量，通过残差网络技术抽取图像的特征表示向量，采用深度典型相关性分析技术将不同模态的数据投影到共同子空间下，然后采用Stacking集成学习算法获取文本和图像在同一高层概念语义空间上的分布，使得两种不同模态的数据可以进行语义匹配、相似性计算。在Wikipedia和Pascal Sentence两个小型跨媒体数据集和一个较大规模跨媒体数据集INRIA-Websearch上分别开展跨媒体检索实验，证实了所提方法能够有效地抽取文本和图像的特征，实现跨媒体数据在高层语义空间上的关联和匹配，与相近跨媒体检索方法在MAP指标上的对比显示，该方法能够取得较好的检索效果。
- 单位
