科研之友
微信
新浪微博
Facebook
分享链接
摘要
基于视频内容细粒度信息的视频时刻检索方法,包括以下步骤；步骤1,构建训练集和测试集,并选取原始视频；步骤2,对原始视频进行特征预提取,得到关键帧特征和帧内物体；步骤3,构建文本特征提取模块,使用预训练词嵌入模型来将查询语句映射到嵌入空间中,完成特征提取,并得到文本特征：步骤4,构建文本词性标注模块,标注查询语句中的名词；步骤5,构建跨模态特征融合模块,得到跨模态细粒度内容特征；步骤6,构建词义匹配模块,通过词义匹配生成相关性权重；步骤7,构建时刻检索指导模块计算整个视频对应的相关性内容细粒度特征。本发明通过目标检测网络提取视频中的细粒度信息,构建一个跨模态的检索模型,提高视频时刻检索准确性。
- 单位
