科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有情感分类模型大都采用Word2Vec,GloVe(global vectors)等获取文本的词向量表示,忽略了词的上下文关系,针对此问题,提出基于BERT(bidirectional encoder representations from transformers)预训练语言模型与双向长短时记忆网络(bidirectional long short-term memory network,BLSTM)及注意力机制相结合的神经网络模型进行文本情感分析.首先通过BERT预训练模型获取包含上下文语义信息的词向量,然后利用双向长短时记忆网络提取上下文相关特征进行深度学习,最后引入注意力机制对提取出的信息分配权重,突出重点信息,进行文本情感分类.在SST(stanford sentiment treebank)数据集上测试准确率可达到88.91%,表明该方法较其他方法在分类准确率上有一定程度的提高.
- 单位
