MLWS2021藏文分词评测报告

作者：高定国; 杨晓龙; 杨宇帆; 取次; 高红梅^*

来源：高原科学研究, 2022, 6(01): 82-89.

DOI：10.16249/j.cnki.2096-4617.2022.01.011

• MLWS2021
• 藏文分词
• 评测

藏文分词是藏文信息处理中关键的基础性工作，是机器翻译、智能检索、自然语言理解等智能信息处理的前提。藏文作为“少数民族语言分词技术评测MLWS2021”的一种评测语种，在MLWS2017的基础上，语料从新闻类单一语料扩展为新闻、法律、经济、小说和语言文字等多领域综合语料，训练语料和测试语料的质和量都有了较大的提升。文章介绍MLWS2021中藏文分词评测语料的构成、收集、整理情况；再分析藏文分词评测分析软件设计思想的基础上，针对测试语料的多样性，设计了“文本对比”和“藏文评测分析”软件，按需建设评测软件测试语料并测试证明了软件的正确性；最后，在不破坏评测语料的基础上，对语料进行预处理和测试，给出了参赛队不同模型的藏文分词评测结果并验证了结果的正确性。

• 单位
  西藏大学