科研之友
微信
新浪微博
Facebook
分享链接
摘要
文本自动分词是非物质文化遗产相关数字人文研究的基础与关键步骤，是深度发掘非遗内在信息的前提。文章构建了国家级非物质文化遗产项目申报文本自动分词模型，探究了融入领域知识的机器学习模型CRF、深度学习模型Bi-LSTM-CRF和预训练语言模型BERT、RoBERTa、ALBERT在非遗文本上的分词性能，并对比了通用分词工具HanLP、Jieba、NLPIR的效果。在全部14种模型中，RoBERTa模型效果最佳，F值达到了97.28%，预训练模型中ALBERT在同等条件下训练速度最快。调用分词模型，构建了非遗文本领域词表和全文分词语料库，对非遗文本词汇分布情况进行了分析挖掘。开发了中国非物质文化遗产文本自动分词系统(CITS)，为非遗文本自动分词及分词结果的多维可视化分析提供了工具。
- 单位
