摘要

针对政务文本分析语境复杂、分类准确率低的问题,提出基于BERT词嵌入和BiLCNN-Attention混合模型的文本分类方法。首先采用BERT模型对政务文本进行词嵌入向量表示,然后混合使用双向长短时记忆网络BiLSTM和卷积神经网络CNN,同时引入注意力机制进行特征提取,融合了时序特征及局部特征并使特征得到强化,最后使用Softmax进行文本分类。实验表明,BERT词嵌入处理后混合模型的准确率较CNN和BiLSTM模型分别提升了3.9%和2.51%。

全文