基于ACNN和Bi-LSTM的微表情识别

作者：朱文球; 李永胜; 黄史记; 阳昊彤

来源：湖南工业大学学报, 2022, 36(06): 34-41.

• 微表情识别
• 长短时记忆网络
• 注意力网络
• 迁移学习
• 识别块

针对微表情动作幅度小、强度低等缺点，提出了一种基于带有注意力机制的卷积神经网络(ACNN)和双向长短期记忆网络(Bi-LSTM)相结合的神经网络结构。实验采用CASME II数据集，为了减少出现过拟合的风险，首先将预处理后的特征向量经过预训练的VGG16网络提取出基本特征，接着对输出特征进行裁剪，得到带有局部特征的24个微表情识别块和带有整个图片特征的全局特征向量；然后将24个识别块分别经过局部识别块注意力卷积神经网络(BR-ACNN)提取出带有注意力信息的局部特征，将全局特征向量经过全局注意力卷积神经网络(GR-ACNN)提取出带有注意力信息的全局特征；最后，将提取的局部和全局特征，经过Bi-LSTM提取出微表情序列之间的相关性信息。实验结果显示，5折交叉验证平均准确率为0.69，UF1为0.638 2，UAR为0.675 0。CASME II数据集上结果显示，所提算法模型相对OFFApexNet模型，其UF1提高了0.028 1，UAR提高了0.096 9；相对ATNet模型，其UF1提高了0.007 2，UAR提高了0.032 0。

• 单位
  湖南工业大学