科研之友
微信
新浪微博
Facebook
分享链接
摘要
[目的]为了充分提取各模态特征，实现多模态特征的对齐与融合以及下游任务的设计，提出一种多模态协同对比学习的方面级情感分析模型(MCCL-ABSA)。[方法]首先在文本侧利用方面词与句子中方面词编码的相似性，在图像侧利用图像经过随机裁剪后在不同顺序下编码的相似性，分别构造对比学习所需的正负样本；其次设计对比学习任务的损失函数，学习到更具区分度的特征表示；最后使文本特征和图像特征充分融合，进行多模态方面级情感分析，同时联合对比学习任务，动态微调编码器。[结果]在数据集TWITTER-2015上，较基线模型的最高值准确率和F1值分别提高0.82%和2.56%；在数据集TWITTER-2017上，较基线模型的最高值准确率和F1值分别提高0.82%和0.53%。[局限]未进一步验证模型在其他数据集上的泛化性。[结论]所提模型能够有效地改善特征提取的质量，且能以简洁高效的下游结构实现特征融合，提升多模态情感分类的效果。
- 单位
