基于注意力机制的视频人脸表情识别

作者：何晓云; 许江淳; 史鹏坤; 陈文绪

来源：信息技术, 2020, 44(02): 103-107.

DOI：10.13274/j.cnki.hdzj.2020.02.021

• 注意力机制
• 人脸表情识别
• 视频序列
• 深度学习

针对人脸的静态图片不能描述表情动态信息的局限性,提出了一种基于注意力机制的视频人脸表情识别算法。首先,为了减少图像特征在处理过程中的损失,在VGGNet16模型的侧方添加一系列卷积核,形成一个双向监督模块,同时利用上采样、下采样对各个侧输出层的特征图进行加权融合改进;其次,利用改进后的VGGNet16模型提取视频序列图片的空间特征与使用光流法提取图片中的时间特征进行融合;然后,使用注意力机制对其进行特征加权,在LSTM网络中对加权后的特征进行训练和分类;最终,该模型在AFEW数据集和CK+数据集上的识别率分别为6111%和958%,与现有文献识别率的对比验证了文中算法的优势。

• 单位
  自动化学院; 昆明理工大学