一种多模态跨媒体检索的融媒体影视系统

作者：李春芳; 刘永久; 王楷翔; 杨睿; 张凌飞; 李敏; 邓智铭; 石民勇

来源：中国传媒大学学报(自然科学版), 2021, 28(04): 63-71.

DOI：10.16196/j.cnki.issn.1673-4793.2021.04.008

• 融媒体
• 跨媒体检索
• 字幕识别
• 人脸识别

视频是最有影响力的传播媒介,然而其非线性检索仍然困难。本文创新性工作包括:基于图像识别提取字幕,基于卷积神经网络识别人脸,通过字幕和人脸解决了影视视频的非线性检索问题;从字幕文本提取重要实体,用海量知识库和电子书补全影视关联知识,构建了文本、电子书和视频融合的跨媒体应用;以字幕词云和人物实体词云,实现影视的概览理解和检索导航;以众包实现字幕、电子书、人脸和实体信息的修正。以近代史献礼电影、中国诗词大会和科技纪录片为例系统完整地实现了一个示范性融媒体影视系统。

• 单位
  中国传媒大学