科研之友
微信
新浪微博
Facebook
分享链接
摘要
多模态细粒度情感分析任务要求根据文本以及对应的图片信息，判断文本中每个观点实体的情感倾向。目前基于文本的细粒度情感分析模型无法对多模态数据进行建模，因此论文针对多模态细粒度情感分析任务，提出了一种基于跨模态Transformer的层次化神经网络模型。该模型利用从预训练模型中抽取出的文本以及图片特征，通过调整跨模态Transformer的输入来建模文本和图像之间的信息交互，从而达到利用图片信息来辅助文本信息进行情感分析的目的。论文在两个真实的多模态社交媒体数据集上开展了实验，并与其他方法展开对比，验证了论文提出的方法的有效性。
- 单位
