基于多尺度时空注意力网络的微表情检测方法

作者：于洋; 孙芳芳; 吕华; 李扬; 王晓民

来源：计算机工程, 2023, 1-10.

DOI：10.19678/j.issn.1000-3428.0068016

• 微表情检测
• 三维卷积神经网络
• 时空特征
• 多尺度
• 关联性

微表情可以揭示人们试图隐藏的真实情绪，为刑事侦查、心理辅导等提供潜在的信息。现有微表情检测方法主要在获取空间特征的基础上提取时间特性构建时空特征，相应处理容易导致时间特征失真，同时在空间处理过程中会破坏原有时序关系，降低微表情时空特征的判别性。针对这一问题，提出基于多尺度时空注意力网络的微表情检测方法。利用包含时间和空间关系的三维卷积神经网络对微表情序列进行处理，获取兼顾时间域和空间域的鲁棒性特征。该网络构建多尺度时间输入序列从不同时间长度的图像序列中提取多维时间特征；采用轻量级三维卷积神经网络提取多尺度时空特征；利用全局时空注意力模块对时空特征进行全局性时空关联加强，其中时空重组模块加强不同时刻图像帧之间的连通性，全局信息关注模块构建单帧图像上的空间关联信息，最后对不同时刻特征赋予权重突出关键时间信息，有效地完成微表情检测工作。实验结果表明，该方法可以准确检测出微表情序列片段，在CASME、CASME II和SAMM三个公开数据集上的准确率分别达到92.32%、95.04%和89.56%。相比目前最优的深度学习方法，在CASME II和SAMM数据集上准确率分别提高了3.84%和4.96%。

• 单位
  天津市农业科学院; 河北工业大学