基于时空信息可信融合的视频监控暴力检测算法

作者：张晓蓉^*; 李伟; 石岩; 陈鹏; 张鹏程; 李清; 张长青

来源：计算机应用, 2023, S2: 65-71.

• 暴力检测
• 可信融合
• 空间特征
• 时序特征
• 动作识别

在暴力行为检测任务中，监控视频的静态红-绿-蓝（RGB）信息和光流特征对任务的支持度受场景变化而产生动态变化。因此，提出一种基于时空信息可信融合的视频监控暴力检测算法。首先，利用每一帧静态RGB信息和相邻帧的动态光流信息提取特征，并通过空间特征网络和时序特征网络获得静态RGB帧和多帧光流的分类证据；然后，在得到时间网络和空间网络的分类证据后，应用狄利克雷分布估计每个模态分类结果的不确定性；最后，考虑两个模态特征质量的动态变化特性，并基于Dempster-Shafer证据理论对两个模态预测结果进行融合。实验结果表明，与现有时空改进的三维轨迹（TS+IDT）算法相比，所提算法在violent crowd数据集和hockfights数据集上暴力检测准确率分别提升4.79和0.23个百分点，验证了所提方法的合理性和有效性。此外，该算法不仅可以提供暴力行为识别结果，还可以在部署阶段提供决策的可信程度，从而使得算法在实际应用中更加健壮、可靠，降低后续分析任务出现错误预测的风险。

• 单位
  天津大学; 中国电子科技集团公司第二十八研究所