基于光流法与伪三维残差网络的微表情识别

作者：唐宏; 朱龙娇; 范森; 刘红梅

来源：信号处理, 2022, 38(05): 1075-1087.

DOI：10.16798/j.issn.1003-0530.2022.05.020

• 微表情识别
• 光流法
• 伪三维残差网络
• 数据增强
• 跨数据库

微表情是一种动态变化的面部表情，具有复杂的时空特征，给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络（P3D ResNet）的微表情识别方法，通过光流法对微表情运动信息建模，为网络提供关键信息的同时丰富数据空间维度，采用伪三维残差网络进一步学习微表情的时间和空间特征。首先，将三个主流的微表情数据集进行融合，并对融合的数据集进行预处理；然后使用TVL1光流法提取表征微表情运动信息的光流特征序列，将得到的光流特征序列与微表情灰度图像序列进行通道连接，形成一个新的三通道微表情图像序列；最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中，P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征，一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明，本文方法的性能相对基准方法有了显著的改进，UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法，从而证明了本文的微表情识别方法的先进性和鲁棒性。

• 单位
  通信与信息工程学院; 重庆邮电大学