融合FCN和LSTM的视频异常事件检测

作者：武光利; 郭振洲; 李雷霆; 王成祥

来源：上海交通大学学报, 2021, 55(05): 607-614.

DOI：10.16183/j.cnki.jsjtu.2020.120

• 计算机视觉
• 视频异常检测
• 像素级预测
• 全卷积神经网络
• 长短期记忆网络

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采用跳级结构集成多模态下的融合特征并进行上采样,最终获得与原视频帧大小相同的预测图.所提网络结构模型在加州大学圣地亚哥分校(UCSD)异常检测数据集的ped 2子集和明尼苏达大学(UMN)人群活动数据集上进行测试,均取得了较好的结果.在UCSD上的等错误率低至6.6%,曲线下面积达到了98.2%,F1分数达到了94.96%;在UMN上的等错误率低至7.1%,曲线下面积达到了93.7%,F1分数达到了94.46%.

• 单位
  西北民族大学