科研之友
微信
新浪微博
Facebook
分享链接
摘要
为了解决以往多模态方面级情感分析研究中存在的特征提取不充分、数据噪声未被有效处理以及多模态数据中的复杂交互被忽视等问题，提出了一种多粒度视图动态融合模型（multi-granularity view dynamic fusion model,MVDFM）。从粗粒度和细粒度两个视角，对文本和图像数据进行向量化编码，以便充分捕捉数据特征，增强模型信息表达能力；提取文本、图像的多粒度视图特征，并设计动态门控自注意力机制，对细粒度级的文本、图像视图进行降噪，进一步保证特征提取质量；为了挖掘不同粒度上多视图之间的互补性和一致性，提出一种三视图分解高阶池化机制，对多粒度视图特征进行两阶段动态融合，得到最终的目标方面词情感极性。实验结果表明，该模型在公共数据集Twitter-2015和Twitter-2017上的准确率和F1值分别达到了78.69%、74.48%以及72.77%、71.61%，相较于最优基线模型分别提升了0.55、0.88个百分点，以及1.67、2.45个百分点。说明该方法能够充分利用多模态数据中包含的深层语义信息，并有效挖掘与目标方面词相关的重要信息，从而提高方面级情感预测效果。
- 单位
