基于支持向量机的中文分词

作者：林秋虾

来源：现代计算机(专业版), 2011, (23): 11-13.

• 中文分词
• 词位标注
• 支持向量机 Hanzi Segmentation
• Word-Position Tagging
• Support Vector Machine

中文分词是中文信息处理的基础,也是很多中文应用首先要面对的问题。目前效果最好的分词模型是词位标注法,该方法需要使用一个分类器对每个汉字的位置进行判定。基于统计学习理论的支持向量机较好地解决小样本、非线性、高维数和局部极小点等实际问题,被公认为是优秀的机器学习方法和分类算法。实现一个基于支持向量机的中文分词系统,并在实验中取得较好的结果,证明支持向量机适用于中文分词时的词位标注问题。

• 单位
  厦门工学院