中文工艺规范文本分词语料的构建与研究

作者：王裴岩^*; 张莹欣; 付小强; 陈佳欣; 徐楠; 蔡东风

来源：计算机科学, 2023, 50(S2): 75-80.

• 中文分词
• 工艺规范文本
• 分词规范
• 分词语料
• 分词模型

中文分词是处理工艺规范文本的一项基本任务，并且在工艺知识图谱与智能问答等下游任务中发挥着重要作用。工艺规范文本分词面临的一个挑战是缺乏高质量标注的语料，特别是面向术语、名词短语、工艺参数、数量词等特殊语言现象的分词规范。文中面向工艺规范文本制定了专用分词规范，收集并标注了一个中文工艺规范文本分词语料（WS-MPST），含11 900个句子与255160个词，4名标注者分词标注一致性达95.25%。在WS-MPST语料上对著名的BiLSTM-CRF与BERT-CRF模型进行了对比实验，F1值分别达到92.61%与93.69%。实验结果表明，构建专用的工艺规范分词语料是必要的。对实验结果的深入分析揭示了未登录词与中文非中文字符混合构成的词是工艺规范文本分词的难点，也为今后工艺规范文本及相关领域的分词研究提供了一定的指导。

• 单位
  沈阳航空航天大学; 上海飞机制造有限公司