融合场景及交互性特征的多人行为识别

作者：黄江岚; 卿粼波^*; 姜雪; 才虹丽; 陈杨

来源：四川大学学报(自然科学版), 2022, 59(06): 77-88.

DOI：10.19907/j.0490-6756.2022.063001

• 群组行为识别
• 个体行为识别
• 场景通道
• 图卷积网络
• 注意力机制

人类的行为复杂多样，场景、外观、位置等信息均与行为息息相关.本文针对如何高效地综合利用这些信息的问题，提出了融合场景及交互性特征的多人行为识别方法，使用双通道的方式分别提取个体外观特征与场景特征.对于个体通道，采用注意力机制模块来关注与行为相关度更大的区域，并将提取的个体外观特征结合位置特征输入图卷积网络进行关系推理.其中，图卷积网络采用了余弦相似度的方法度量个体特征之间的相关性，并结合个体之间的位置特征进行关系推理；对于场景通道，使用在place365数据集上预训练的ResNet-50提取场景特征.最后，本文将个体以及场景通道所得的特征进行加权融合，得到群组以及所有个体的行为识别结果.在Collective Activity Dataset(CAD)数据集上的实验表明，该方法能提高行为识别的准确率，群组行为以及个体行为的准确率分别达到了92.29%与78.19%.

• 单位
  四川通信科研规划设计有限责任公司; 四川大学