利用多头-连体神经网络实现障碍行为识别

作者：马仑; 刘鑫^*; 赵斌; 王瑞平; 廖桂生; 张亚静

来源：西安电子科技大学学报, 2022, 49(04): 100-175.

DOI：10.19665/j.issn1001-2400.2022.04.012

• 行为识别
• 深度学习
• 神经网络
• 权值共享
• 特征提取

障碍行为指有特殊需要人群的伤害性行为，对其进行分类和识别是人类行为识别的一个重要分支。针对多传感器设备布设于人体不同部位来感知障碍行为的过程中存在传感器之间相关性未能被考量的问题，基于深度学习理论，提出了利用多头-连体神经网络表征传感器之间相关性的方法。该网络在权值共享的基础上，构建多个子网络对多传感器数据分别进行一致的特征提取操作，并对所提取的特征进行融合后通过分类器进行识别。首先对于传感器中存在的缺失数据进行上采样并进行数据标准化分析，其次以贝叶斯优化对该网络的超参数进行选取。然后，由于引入Adam优化器在障碍行为识别领域存在着过拟合的问题，改用AdamW优化器进行L2正则化处理并能够提升网络的识别准确率。实验结果表明：此网络对障碍行为的分类准确率约达到96.0%,相对于基线网络和单头网络，分类准确率分别提高了约6.1%和8.8%并降低了部分行为之间存在的误识问题。相对于多头网络分类准确率提高了约2.4%,并减少了约92.22%的训练参数量。通过解决传感器之间的关联性问题，证明此网络对于障碍行为的识别具有有效性。

• 单位
  西安电子科技大学