一种基于深度学习的实时视频图像背景替换方法

作者：谢天植; 雷为民; 张伟; 李志远

来源：东北大学学报(自然科学版), 2021, 42(11): 1540-1546.

• 实时视频图像
• 背景替换
• 深度学习
• 语义分割
• 编解码结构

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.

• 单位
  东北大学