多级细节信息融合的人脸表情识别

作者：陈文绪; 薛晓军^*; 许江淳; 史鹏坤; 何晓云

来源：重庆邮电大学学报(自然科学版), 2021, 33(02): 304-310.

• 人脸表情识别
• 静态图片
• 神经网络
• 特征融合

在自然环境中各种因素的干扰下,人脸表情信息匹配的识别率受到严重影响,针对此问题,提出一种改进的基于VGGNet16(visual geometry group network16)的网络模型。在VGGNet16模型的侧方添加一系列的侧输出层,并在该侧输出层添加不同的卷积核,通过上采样和下采样方法连接侧输出层的上下2层,并通过训练使侧输出层能够对其上下2层的表情信息进行加权融合。在VGGNet16第5层的后方添加2种不同的卷积核。将侧输出层最终得到的特征图进行局部卷积操作,将VGGNet16输出的最终特征图进行全局特征卷积操作,使局部特征与全局特征融合得到最终要进行分类的特征。该模型在CK+(the extended cohn-kanade)数据集上的识别率为98.6%,在RAF-DB(real-world affective faces)数据集上的表情识别率为79.59%,通过对比常用模型在这2种数据集上的识别率发现该模型具有一定的优势。

• 单位
  自动化学院; 昆明理工大学