融合时空领域知识与数据驱动的骨架行为识别

作者：梁成武; 胡伟; 杨杰; 蒋松琪; 侯宁

来源：计算机工程与应用, 2024, 1-14.

• 时空领域知识
• 数据驱动
• 骨架行为识别
• 卷积神经网络
• 长时空建模

基于骨架数据的行为识别由于其数据紧凑性和抗背景干扰性，逐渐引起研究者的关注。现有数据驱动方法对融合骨架行为的时空领域知识尚未充分研究。基于此，本文提出一种融合人体行为时空领域先验知识与CNN改进网络结构的骨架行为识别方法。首先，基于关键时空特征领域知识提出时通聚焦模块，通过产生聚集系数矩阵引导模型关注鉴别性特征表达。然后，融合长时空跨度领域知识提出多尺度卷积融合模块，沿通道采用分组残差连接方式灵活扩大卷积的时间感受野，在不引入大量参数情况下可获得长时空跨度特征表达能力。本文方法在NTU RGB+D、NTU RGB+D 120及FineGYM三个大型数据集上进行性能评估与验证，分别取得96.6%、89.6%、94.1%的识别准确率。结果表明，融合时空领域知识与数据驱动可充分挖掘骨架行为时空特征，能够提升骨架行为识别性能并具有跨数据集泛化性。

• 单位
  河南城建学院; 三峡大学