基于时序感知DAG的多模态对话情绪识别模型

作者：沈旭东; 黄贤英^*; 邹世豪

来源：计算机应用研究, 2023, 1-9.

DOI：10.19734/j.issn.1001-3695.2023.04.0183

• 对话情绪识别
• 有向无环图
• 近因效应
• 特征提取
• 多模态交互

针对现有对话情绪识别方法中对时序信息、话语者信息、多模态信息利用不充分的问题，提出了一个时序信息感知的多模态有向无环图模型(MTDAG)。其中所设计的时序感知单元能按照时间顺序优化话语权重设置，并收集历史情绪线索，实现基于近因效应下对时序信息和历史信息的更有效利用；设计的上下文和话语者信息融合模块，通过提取上下文语境和话语者自语境的深度联合信息实现对话语者信息的充分利用；通过设置DAG(directed acyclic graph)子图捕获多模态信息并约束交互方向的方式，在减少噪声引入的基础上充分利用多模态信息。在两个基准数据集IEMOCAP和MELD的大量实验表明该模型具有较好的情绪识别效果。

• 单位
  重庆理工大学