科研之友
微信
新浪微博
Facebook
分享链接
摘要
未经整理的古代典籍不含任何标点，不符合当代人的阅读习惯，古籍加断句标点之后有助于阅读、研究和出版。该文提出了一种基于预训练语言模型的繁体古文自动句读框架。该文整理了约10亿字的繁体古文语料，对预训练语言模型进行增量训练，在此基础上实现古文自动句读和标点。实验表明，经过大规模繁体古文语料增量训练后的语言模型具备更好的古文语义表示能力，能够有助提升繁体古文自动句读和自动标点的效果。融合增量训练模型之后，古文断句F1值达到95.03%,古文标点F1值达到了80.18%,分别比使用未增量训练的语言模型提升1.83%和2.21%。为解决现有篇章级句读方案效率低的问题，该文改进了前人的串行滑动窗口方案，在一定程度上提高了句读效率，并提出一种新的并行滑动窗口方案，能够高效准确地进行长文本自动句读。
- 单位
