双视图三维卷积网络的工业装箱行为识别

作者：胡海洋^*; 潘健; 李忠金

来源：中国图象图形学报, 2022, 27(08): 2368-2379.

• 行为识别
• 双视图
• 三维卷积神经网络
• 降噪自编码器
• 支持向量机(SVM)

目的 在自动化、智能化的现代生产制造过程中，行为识别技术扮演着越来越重要的角色，但实际生产制造环境的复杂性，使其成为一项具有挑战性的任务。目前，基于3D卷积网络结合光流的方法在行为识别方面表现出良好的性能，但还是不能很好地解决人体被遮挡的问题，而且光流的计算成本很高，无法在实时场景中应用。针对实际工业装箱场景中存在的人体被遮挡问题和光流计算成本问题，本文提出一种结合双视图3D卷积网络的装箱行为识别方法。方法 首先，通过使用堆叠的差分图像(residual frames, RF)作为模型的输入来更好地提取运动特征，替代实时场景中无法使用的光流。原始RGB图像和差分图像分别输入到两个并行的3D ResNeXt101中。其次，采用双视图结构来解决人体被遮挡的问题，将3D ResNeXt101优化为双视图模型，使用一个可学习权重的双视图池化层对不同角度的视图做特征融合，然后使用该双视图3D ResNeXt101模型进行行为识别。最后，为进一步提高检测结果的真负率(true negative rate, TNR),本文在模型中加入降噪自编码器和two-class支持向量机(support vector machine, SVM)。结果 本文在实际生产环境下装箱场景进行了实验，采用准确率和真负率两个指标进行评估，得到的装箱行为识别准确率为94.2%、真负率为98.9%。同时在公共数据集UCF(University of Central Florida)101上进行了评估，以准确率为评估指标，得到的装箱行为识别准确率为97.9%。进一步验证了本文方法的有效性和准确性。结论 本文提出的人体行为识别方法能够有效利用多个视图中的人体行为信息，结合传统模型和深度学习模型，显著提高了行为识别准确率和真负率。

• 单位
  杭州电子科技大学