基于规则和N-Gram算法的新词识别研究

作者：姜如霞; 黄水源; 段隆振; 罗丽娟

来源：现代电子技术, 2019, 42(04): 166-170.

DOI：10.16652/j.issn.1004-373x.2019.04.039

• 新词识别
• N-Gram算法
• 构词规则
• 中文分词
• 碎片库
• 召回率

当前的分词工具分词后会出现很多单字碎片,分词之后意义与原意相差甚远。同时因为新词的构词规则具有自由度大的特点,当前分词方法不能有效识别网络中的新词。在ICTCLAS2016分词系统的基础上,结合新词结构制定规则构建碎片库,利用Bi-gram和Tri-gram模式提取碎片库中的候选字串,再采用左右邻接熵进行扩展及过滤,最后提出基于规则和N-Gram算法的新词识别方法。结果表明使用该方法的分词效果准确率、召回率和F值都有所提高。实验结果表明,该新词识别方法能有效构造候选新词集合,提高中文分词效果。

• 单位
  南昌大学信息工程学院