科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有情感识别模型的构建大多数是针对语音单模态进行的，容易产生歧义，且忽略了连续情感与离散情感的相互关系。为了解决这些问题，提出了元双模态学习(MBL)模型，利用单模态连续情感(效价度、激活度和控制度)辅助双模态离散情感识别。在特征融合方面，采用了跨模态注意力机制，有效地解决了模态序列数据需要对齐的问题。同时，在辅助任务训练过程中，通过多任务学习中的硬参数共享方式，实现了连续情感和离散情感的三维信息交互。将每个说话人的语句作为小样本，使学习模型适应不同说话人，从而具有更好的泛化能力。在交互式情绪二元运动捕捉数据库的脚本和对话两组数据集上，用MBL模型进行情感识别，准确率分别为71.24%和69.12%,表明其具有良好的性能。
- 单位
