融合双重注意力机制的复合头部动作识别

作者：林羽晨; 张金艺^*; 秦政; 姜玉稀

来源：电子测量技术, 2020, 43(11): 85-90.

DOI：10.19651/j.cnki.emt.2004147

• 复合头部动作识别
• 双重注意力机制
• 长短期记忆网络(LSTM)
• 自适应裁剪方法

针对现有头部姿态估计和人体动作识别算法识别复合头部动作种类较少、实时性较差、识别率较低的问题,提出了一种融合双重注意力机制的复合头部动作识别算法。对复合头部动作进行了扩展性定义和基础算法研究,在此基础上,优化了基于长短期记忆网络(long short-term memory, LSTM)和软注意力机制的算法。首先利用高效的自适应裁剪方法获得低冗余图像序列;再利用预注意力准则,生成比第一位置归一化指数(location softmax)向量更精确的预注意location softmax向量,结合软注意力机制和LSTM实现精确的双重注意力。实验结果表明,该算法能够识别更多的复合头部动作,处理速度达到64.6帧/s,在VidTIMIT视频数据集上的识别率达到98.3%。

• 单位
  上海大学