基于自注意力机制的中文标点符号预测模型

作者：段大高; 梁少虎; 赵振东; 韩忠明

来源：计算机工程, 2020, 46(05): 291-297.

DOI：10.19678/j.issn.1000-3428.0054243

• 标点符号预测
• 自注意力机制
• Bi-LSTM网络
• 深度神经网络
• 自然语言处理

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明,该模型F1值达到85.63%,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测。

• 单位
  北京工商大学