科研之友
微信
新浪微博
Facebook
分享链接
摘要
【目的】针对现有的多模态情感分析模型中存在的上下文信息利用不足、未注重模态间的一致性和差异性等问题，设计一种基于感知融合的多任务多模态情感分析模型。【方法】设计了多模态、文本、声音、图像情感分析4个任务，使用BERT、wav2vec 2.0、OpenFace 2.0模型提取文本、声音、图像的特征信息，经SelfAttention层处理后传入感知融合层进行多模态特征融合，最后使用Softmax对单模态信息和多模态信息进行分类。引入同方差不确定性损失函数，为不同任务自动分配权重。【结果】所提模型与基线模型相比，在CHSIMS数据集上准确率和F1值上分别提升1.59和1.67个百分点，在CMU-MOSI数据集上准确率和F1值上分别提升0.55和0.67个百分点。消融实验表明采用多任务学习比未采用多任务学习在准确率和F1值上分别提升4.08和4.18个百分点。【局限】未测试模型在大规模数据集上的表现。【结论】所提模型能够有效地降低噪声，提升多模态融合效果，同时多任务学习框架能够使模型获得更好的学习效果。
- 单位
