基于BiLSTMCRF模型的藏文分词方法

作者：王莉莉; 王宏渊; 白玛曲珍; 杨鸿武^*

来源：重庆邮电大学学报(自然科学版), 2020, 32(04): 648-654.

• 文本分词
• 长短时计忆网络
• 深度神经网络
• 词向量
• 民族语言

藏文分词是实现藏文语音合成和藏文语音识别的关键技术之一。提出一种基于双向长短时记忆网络加条件随机场(bidirectional long-short-term memory with conditional random field model, BiLSTMCRF)模型的藏文分词方法。对手工分词的语料经过词向量训练后输入到双向长短时记忆网络(bidirectional long-short-term memory, BiLSTM)中,将前向长短时记忆网络(long-short-term memory, LSTM)和后向LSTM学习到的过去输入特征和未来输入特征相加,传入到线性层和softmax层进行非线性操作得到粗预测信息,再利用条件随机场(conditional random field, CRF)模型进行约束性修正,得到一个利用词向量和CRF模型优化的藏文分词模型。实验结果表明,基于BiLSTMCRF模型的藏文分词方法可取得较好的分词效果,分词准确率可达94.33%,召回率为93.89%,F值为94.11%。

• 单位
  西北师范大学; 电子工程学院