为解决媒体多模态推文很短并且图像与推文不相关问题，提出一种混合神经网络模型。首先使用图像描述生成器对图像信息进行描述，然后构建结合目标方面词和图像两种语义信息的辅助句子。再将文本与辅助句子融合以句子对形式输入预训练模型中，通过双向长短期记忆网络与自注意力机制获取重要语义特征进行分类。在Twitter-15与Twitter-17上进行实验，其F1值分别达到75.16%和72.26%。通过消融实验和结果对比分析，文章所提出的模型取得了较好的效果。
科研之友
微信
新浪微博
Facebook
分享链接
