基于混合注意力机制的动态人脸表情识别

作者：刘希未; 宫晓燕; 赵红霞; 边思宇; 邵帅; 戴亚平; 代文鑫^*

来源：计算机应用, 2023, 43(S1): 1-7.

• 动态人脸表情识别
• 深度学习
• 卷积神经网络
• 注意力机制
• Transformer
• 卷积块注意力模块

针对自然环境中存在人脸遮挡、姿势变化等复杂因素，以及卷积神经网络（CNN）中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题，提出一种用于动态人脸表情识别（DFER）的混合注意力机制模型（HA-Model），以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成：空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块（CBAM）的网格注意力模块，引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征；时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系，用于学习人脸表情特征的全局表示。实验结果表明，HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%，验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。

• 单位
  中国科学院自动化研究所; 自动化学院; 北京理工大学