基于长短时预测一致性的大规模视频语义识别算法

作者：王铮; 翁泽佳; 王锐; 陈静静; 姜育刚^*

来源：中国科学:信息科学 , 2020, 50(06): 877-891.

• 大规模视频语义识别
• 片段视频语义识别
• 语义一致性
• 特征聚合
• 预测可靠性

片段视频语义识别旨在识别视频中短小片段的语义概念,是视频分析的一项重要任务.由于片段视频的数量巨大且缺乏可参考的网络标签,片段视频的标记十分困难,通常只能对部分片段视频进行标记.如何利用有限的语义标签提高片段视频语义识别的准确率是一项关键挑战.因此本文提出了一种基于长短时预测一致性的视频语义识别算法.该算法通过引入完整视频语义与片段视频语义一致性的约束,对片段视频语义识别结果进行筛选,以此提高片段视频语义识别的准确率.本文提出的算法在大规模视频数据集YouTube-8M的片段视频语义识别任务上达到了82.62%的平均均值准确率(mean average precision, MAP)识别精度,在第三届YouTube-8M比赛中排名第二.

• 单位
  复旦大学