基于多语义线索的跨模态视频检索算法

作者：丁洛; 李逸凡; 于成龙; 刘洋; 王轩; 漆舒汉^*

来源：北京航空航天大学学报, 2021, 47(03): 596-604.

DOI：10.13700/j.bh.1001-5965.2020.0470

• 跨模态视频检索
• 多语义线索
• 多头目注意力机制
• 距离度量损失函数
• 多模态

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元(GRU)捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。

• 单位
  深圳信息职业技术学院; 鹏城实验室; 哈尔滨工业大学（深圳）