结合改进卷积神经网络与通道加权的轻量级表情识别

作者：梁华刚; 薄颖^*; 雷毅雄; 喻子鑫; 刘丽华

来源：中国图象图形学报, 2022, 27(12): 3491-3502.

• 表情识别
• 图像处理
• 卷积神经网络(CNN)
• 深度可分离卷积
• 全局平均池化
• SE模块

目的 表情是人机交互过程中重要的信息传递方式，因此表情识别具有重要的研究意义。针对目前表情识别方法存在背景干扰大、网络模型参数复杂、泛化性差等问题，本文提出了一种结合改进卷积神经网络(convolutional neural network, CNN)与通道加权的轻量级表情识别方法。方法 首先，采用标准卷积和深度可分离卷积组合神经网络结构，再利用全局平均池化层作为输出层，简化网络的复杂程度，有效降低网络参数；其次，网络引入SE(squeeze-and-excitation)模块进行通道加权，通过在不同卷积层后设置不同的压缩率增强表情特征提取能力，提升网络模型精度；最后，用softmax分类函数实现各类表情的准确分类。结果 本文网络参数量为6 108 519,相较于识别性能较好的Xception神经网络参数减少了63%,并且通过对网络模型的实时性测试，平均识别速度可达128帧/s。在5个公开的表情数据集上验证网络模型对7种表情的识别效果，与7种卷积神经网络方法相比，在FER2013 (Facial Expression Recognition 2013)、CK+(the extended Cohn-Kanade)和JAFFE (Japanses Female Facial Expression) 3个表情数据集的识别精确度提高了5.72%、0.51%和0.28%,在RAF-DB (Real-world Affective Faces Database)、AffectNet这两个in-the-wild表情数据库的识别精确度分别提高了2.04%和0.68%。结论 本文提出的轻量级表情识别方法在不同通道具有不同的加权能力，获取更多表情关键特征信息，提高了模型的泛化性。实验结果表明，本文方法在简化网络的复杂程度、减少计算量的同时能够准确识别人脸表情，能够有效提升网络的识别能力。

• 单位
  长安大学