全局卷积与亲和度融合的多模态特征蒸馏情感识别方法

作者：赵子平; 高天; 王欢

来源：信号处理, 2023, 39(04): 667-677.

DOI：10.16798/j.issn.1003-0530.2023.04.008

• 多模态情感识别
• 感受野
• 特征蒸馏
• 特征融合

为提升人机交互时的用户体验以及满足多元化用途的需求，交互设备正逐步引入情感智能技术，其中，实现产业和技术有效融合的前提是可以对人类情感状态进行正确的识别，然而，这仍然是一个具有挑战性的话题。随着多媒体时代的快速发展，越来越多可利用的模态信息便逐步被应用到情感识别系统中。因此，本文提出一种基于特征蒸馏的多模态情感识别模型。考虑到情感表达往往与音频信号的全局信息密切相关，提出了适应性全局卷积（Adaptive Global Convolution, AGC）来提升有效感受野的范围，特征图重要性分析（Feature Map Importance Analysis,FMIA）模块进一步强化情感关键特征。音频亲和度融合（Audio Affinity Fusion, AAF）模块通过音频-文本模态间的内在相关性建模亲和度融合权重，使两种模态的情感信息得到有效融合。此外，为了提升模型泛化能力，有效利用教师模型中概率分布所携带的隐藏知识，帮助学生模型获取更高级别的语义特征，提出了在多模态模型上使用特征蒸馏。最后，在交互式情感二元动作捕捉（Interactive Emotional Dyadic Motion Capture, IEMOCAP）情感数据集上对该方法进行评估，加权准确率达到了75.2%，非加权准确率达到了75.8%，证明了该模型对提升情感识别效率的有效性。

• 单位
  天津师范大学