多层次特征融合的视频显著目标检测系统设计

作者：毕洪波; 朱徽徽; 杨丽娜; 张丛; 吴然万

来源：实验室研究与探索, 2022, 41(03): 94-98.

DOI：10.19927/j.cnki.syyt.2022.03.019

• 目标检测
• 特征提取
• 特征融合
• 注意力机制

以ResNet-50为骨干网络，设计了多尺度特征融合的视频显著性目标检测系统。系统主要由上下文语义聚合模块(用于空间特征的提取)和双层卷积LSTM模块(用于连续帧间时间相关性的提取)组成。该系统使用ResNet-50提取显著性目标特征，提出上下文语义聚合模块，利用自上而下和自下而上的结构融合深层特征和浅层特征，可以灵活调整不同层次特征的贡献，并进行有效的信息交换。然后，将空间细化的特征输入双层ConvLSTM来探索视频帧之间注意力的动态转换，以增强连续视频帧间运动信息的表达，实现视频帧间的时间相关性提取。3个标准数据集的仿真结果表明，与11种常用系统相比，该系统的评价指标MAE,F-measure, S-measure均较好。

• 单位
  东北石油大学