融合Bert和BiLSTM的中文短文本分类研究

作者：郝婷; 王薇^*

来源：软件工程, 2023, 26(03): 58-62.

DOI：10.19644/j.cnki.issn2096-1472.2023.003.012

• 文本分类
• BiLSTM
• Bert
• 新闻分类

中文短文本具有长度短及上下文依赖强的特点，针对新闻主题文本用词不够规范、语义模糊、特征稀疏等问题，提出首先在词向量表示阶段引入Bert(双向Transformers编码器)生成融合字、文本及位置的词向量作为训练文本的词表征进行文本语义增强，然后将得到的词向量输送到BiLSTM(双向长短期记忆网络)网络中提取上下文关系特征，最后使用Softmax分类器进行文本分类，模型准确率达0.9391。通过与其他主流方法进行对比和实验验证，实验结果表明，文章提出的方法在进行新闻短文本分类时有良好效果。

• 单位
  长春大学