基于新词发现和并行计算的中文分词改进算法

作者：王振; 杨**; 陈天池

来源：中国新通信, 2019, 21(06): 130-132.

• 中文分词
• 新词发现
• 并行计算
• N-gram

新词发现是自然语言处理中的一项重要研究工作,本文先对corpus进行最小粒度分词,采用N-gram思想将最小粒度分词结果重组,最后给出基于边界自由度和内部凝固度结合停用词库的新词发现方法,并在大规模语料库上进行实验,验证本文新词发现算法的可行性,同时结合并行计算方法,大大缩短实验时间,提高了整个系统的效率和性能。