科研之友
微信
新浪微博
Facebook
分享链接
摘要
情绪分析一直是自然语言处理领域的研究热点，而多模态情绪分析是当前该领域的一个挑战。已有研究在上下文信息和不同模态时间序列信息交互方面存在不足，该文提出了一个新颖的多层LSTM融合模型(Multi-LSTMs Fusion Model, MLFN),通过分层LSTM分别设置单模态模内特征提取层、双模态和三模态模间融合层进行文本、语音和图像三个模态之间的深度融合，在考虑模态内部信息特征的同时深度捕获模态之间的交互信息。实验结果表明，基于多层LSTM多模态融合网路能够较好地融合多模态信息，大幅度提升多模态情绪识别的准确率。
- 单位
