特征引导的多模态聚合低光环境行为识别方法

作者：刘光辉; 王秦蒙; 孟月波^*; 陈廷廷; 张娅琳

来源：控制与决策, 2023, 1-9.

DOI：10.13195/j.kzyjc.2022.1753

• 行为识别
• 低光场景
• 多模态聚合
• 特征引导
• 光照增强

诸如夜间等低光场景下的行为识别对安防、自动驾驶等领域具有重要意义。针对现有方法在低光环境下识别效果不佳、鲁棒性较差等问题，提出一种基于特征引导的多模态聚合低光环境行为识别方法 (MALNFG)。首先，设计分层骨架特征融合网络(HSFIE)，利用光照增强算法提升低光场景的骨架提取能力，采用层次化时空特征融合策略获取侧重于人体行为本身表达的动作特征，改善低光场景下因骨架缺失造成的精度下降问题；其次，设计高效表观特征提取模块(EAFEM)，采用零参数时间位移模块在2D特征提取网络上高效捕捉包含丰富场景信息的时空特征；而后，设计特征引导多模态聚合网络(MNF)，利用特征引导策略执行骨架特征与RGB表观特征的深层信息交互，实现行为特征的全面性表征；最后，采用全连接层进行特征分类，完成行为识别。实验结果表明，所提方法可以较好的适用于低光环境下的人体行为识别任务。

• 单位
  西安建筑科技大学