科研之友
微信
新浪微博
Facebook
分享链接
摘要
视频描述生成旨在用自然语言描述视频中的物体及其相互作用。现有方法未充分利用视频中的时空语义信息，限制了模型生成准确描述语句的能力。为此，提出一种用于视频描述生成的潜在特征增强网络（LFAN）模型。利用不同的特征提取器提取外观特征、运动特征和目标特征，将对象级的目标特征分别和帧级的外观特征与运动特征融合，同时对融合后的不同特征进行增强，在生成描述前利用图神经网络和长短时记忆网络推理对象之间的时空关系，从而得到具有时空信息和语义信息的潜在特征，同时使用长短时记忆网络和门控循环单元的解码器生成视频的描述语句。该网络模型能够准确地学习到对象特征，进而引导生成更准确的词汇及与对象之间的关系。在MSVD和MSR-VTT数据集上的实验结果表明，LFAN模型可以显著提高生成描述语句的准确性，并与视频中的内容呈现出更好的语义一致性，在MSVD数据集上的BLEU@4和ROUGE-L分数分别为57.0和74.1，在MSRVTT数据集上分别为43.8和62.1。
- 单位
