基于jieba中文分词的中文文本语料预处理模块实现

作者：石凤贵

来源：电脑知识与技术, 2020, 16(14): 248-257.

DOI：10.14004/j.cnki.ckt.2020.1579

• 文本分词
• 文本预处理
• 去停用词

文本预处理是文本分析理解的基础,预处理结果可以直接影响到文本分析的准确率。中文文本语句结构复杂,词语之间没有明显的分隔标记,需要进行分词来理解语句。分词是文本预处理的基础,词的切分准确性影响文本预处理结果。本文分词采用jieba中文分词工具,实现了文本预处理模块。

• 单位
  马鞍山师范高等专科学校