基于异构数据联合训练的中文分词法

作者：姜猛; 王子牛; 高建瓴

来源：电子科技, 2019, 32(04): 29-59.

DOI：10.16180/j.cnki.issn1007-7820.2019.04.007

• 中文分词
• 深度学习
• Bi-LSTM-CRF
• 异构数据
• 联合训练
• 语料库

中文分词技术作为中文信息处理中的关键基础技术之一,基于深度学习模型的中文分词法受到广泛关注。然而,深度学习模型需要大规模数据训练才能获得良好的性能,而当前中文分词语料数据相对缺乏且标准不一。文中提出了一种简单有效的异构数据处理方法,对不同语料数据加上两个人工设定的标识符,使用处理过的数据应用于双向长短期记忆网络结合条件随机场(Bi-LSTM-CRF)的中文分词模型的联合训练。实验结果表明,基于异构数据联合训练的Bi-LSTM-CRF模型比单一数据训练的模型具有更好的分词性能。

• 单位
  贵州大学