基于一致性图卷积模型的多模态对话情绪识别

作者：谭晓聪; 郭军军; 线岩团; 相艳^*

来源：计算机应用研究, 2023, 40(10): 3100-3106.

DOI：10.19734/j.issn.1001-3695.2023.02.0064

• 多模态
• 情绪识别
• 一致性约束
• 图卷积网络
• 情感分析

多模态对话情绪识别是一项根据对话中话语的文本、语音、图像模态预测其情绪类别的任务。针对现有研究主要关注话语上下文的多模态特征提取和融合，而没有充分考虑每个说话人情绪特征利用的问题，提出一种基于一致性图卷积网络的多模态对话情绪识别模型。该模型首先构建了多模态特征学习和融合的图卷积网络，获得每条话语的上下文特征；在此基础上，以说话人在完整对话中的平均特征为一致性约束，使模型学习到更合理的话语特征，从而提高预测情绪类别的性能。在两个基准数据集IEMOCAP和MELD上与其他基线模型进行了比较，结果表明所提模型优于其他模型。此外，还通过消融实验验证了一致性约束和模型其他组成部分的有效性。

• 单位
  昆明理工大学; 自动化学院