结合显著特征筛选和ViT的面部表情识别方法

作者：封红旗; 黄伟铠; 张登辉

来源：计算机工程与应用, 2023, 59(22): 136-143.

• 面部表情识别
• 显著特征筛选
• 视觉转化器
• 多层Transformer编码器

真实的人机交互场景中，人的动态行为（转头、行走等）以及不稳定的光源，会导致面部细节特征无法有效提取，从而降低面部表情识别的准确率。针对该问题，提出了一种结合显著特征筛选和视觉转化器（ViT）的优化模型。采用加权求和光照归一化方法对原图进行亮度平衡，并利用卷积神经网络提取面部特征；使用显著特征筛选模块聚合面部局部-全局上下文信息；应用多层Transformer编码器来加强面部特征之间的关联性；最后采用Softmax函数对面部表情结果进行预测。实验结果表明，该网络模型在RAF-DB、FERPlus和AffectNet数据集上取得了良好的性能。

• 单位
  浙江树人学院