高性能整数倍稀疏网络行为识别研究

作者：臧影; 刘天娇; 赵曙光; 杨东升

来源：中国图象图形学报, 2022, 27(08): 2404-2417.

• 行为识别
• 轻量级
• 稀疏特征矩阵
• 整数倍稀疏网络(IntSparse-GCN)
• mask掩膜函数

目的 行为识别在人体交互、行为分析和监控等实际场景中具有广泛的应用。大部分基于骨架的行为识别方法利用空间和时间两个维度的信息才能获得好的效果。GCN(graph convolutional network)能够将空间和时间信息有效地结合起来，然而基于GCN的方法具有较高的计算复杂度，结合注意力模块和多流融合策略使整个训练过程具有更低的效率。目前大多数研究都专注于算法的性能，如何在保证精度的基础上减少算法的计算量是行为识别需要解决的关键性问题。对此，本文在轻量级Shift-GCN(shift graph convolutional network)的基础上，提出了整数倍稀疏网络IntSparse-GCN(integer sparse graph convolutional network)。方法 首先提出奇数列向上移动，偶数列向下移动，并将移出部分用0替代新的稀疏移位操作，并在此基础上，提出将网络每层的输入输出设置成关节点的整数倍，即整数倍稀疏网络IntSparse-GCN。然后对Shift-GCN中的mask掩膜函数进行研究分析，通过自动化遍历方式得到精度最高的优化参数。结果 消融实验表明，每次算法改进都能提高算法整体性能。在NTU RGB+D数据集的子集X-sub和X-view上，4流IntSparse-GCN+M-Sparse的Top-1精度分别为90.72%和96.57%。在Northwestern-UCLA数据集上，4流IntSparse-GCN+M-Sparse的Top-1精度达到96.77%,较原模型提高2.17%。相比代表性的其他算法，在不同数据集及4个流上的准确率均有提升，尤其在Northwestern-UCLA数据集上提升非常明显。结论 本文针对shift稀疏特征提出整数倍IntSparse-GCN网络，对Shift-GCN中的mask掩膜函数进行研究分析，并设计自动化遍历方式得到精度最高的优化参数，不但提高了精度，也为进一步的剪枝及量化提供了依据。

• 单位
  中国科学院沈阳计算技术研究所; 中国科学院大学; 湖州师范学院