基于关键区域遮挡与修复的人脸表情识别

作者：李晶^*; 李健; 陈海丰; 张倩; 王丽燕; 裴二成

来源：计算机工程, 2023, 1-10.

DOI：10.19678/j.issn.1000-3428.0067538

• 人脸表情识别
• 多尺度关键区域特征
• 注意力机制
• 自监督学习
• 遮挡修复

为了解决自然场景下，人脸表情识别任务中存在的无用信息干扰和遮挡问题对识别性能的影响，提出了一种基于关键区域遮挡与修复的人脸表情识别方法。该方法分为三个步骤：首先，利用多尺度特征提取网络提取人脸图像的全局特征；其次，根据68个人脸关键点划分出68个关键区域，并通过插值法提取68个关键区域的特征，同时采用注意力机制学习关键区域特征之间的先验关系；最后，设计自监督的遮挡与修复模块，对关键区域特征进行随机遮挡，并利用已知区域信息来预测和修复被遮挡区域的特征，从而提高模型在自然场景下的表情识别性能。本文通过设计多个实验验证了该方法的泛化能力，并通过消融实验验证了该方法每个模块的有效性。实验结果表明，该方法在RAF-DB数据集上达到了88.44％的识别准确率，在Occlusion-RAF-DB数据集上达到了86.09％的识别准确率，相比于ViT、VTFF等方法，有效地提升了自然场景下人脸表情识别的性能。

• 单位
  西安邮电大学; 陕西科技大学