基于特征交互和聚类的行为识别方法

作者：李凯歌; 蔡鹏飞; 周忠^*

来源：计算机辅助设计与图形学学报, 2023, 35(06): 903-914.

• 行为识别
• 时空特征关系
• 特征交互
• 特征聚类

针对现有行为识别方法缺乏对时空特征关系建模的问题,提出一种基于特征交互和聚类的行为识别方法.首先设计一种混合多尺度特征提取网络提取连续帧的时间和空间特征;然后基于Non-local操作设计一种特征交互模块实现时空特征的交互;最后基于三元组损失函数设计一种难样本选择策略来训练识别网络,实现时空特征的聚类,提高特征的鲁棒性和判别性.实验结果表明,与基线方法 TSN相比,所提方法的准确度在UCF101数据集上提高了23.25个百分点,达到94.82%;在HMDB51数据集上提高了20.27个百分点,达到44.03%.

• 单位
  北京航空航天大学; 虚拟现实技术与系统国家重点实验室