科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有网民情感识别研究多基于文本这一单模态,缺乏结合网民所发的文本及附带的图片来识别网民情感的研究。本文基于深度学习设计多模态融合网民情感识别模型,利用词向量模型对文本进行表示,并构建BiLSTMs模型提取文本情感特征,构建基于迁移学习的微调CNNs提取图片情感特征;将提取的文本和图片情感特征进行特征层融合后,输入至SVM中,实现多模态融合网民情感识别,同时将构建的多模态融合网民情感识别模型(DNNs-SVM)与设计的基线模型做实验效果对比,基线模型分别是word2vec+BiLSTMs、BERT+BiLSTMs、CNNs、微调CNNs和DNNs。实验结果表明,融合文本和图片特征的多模态融合情感识别结果优于单模态情感识别结果,多模态融合DNNs-SVM模型均优于所设计的基线模型。
-
单位南京理工大学; 中国科学院科技战略咨询研究院; 经济管理学院
