一种快速中文分词词典机制

作者：吴晶晶; 荆继武; 聂晓峰; 王平建

来源：中国科学院研究生院学报, 2009, (05): 703-711.

• 文本实时处理
• 中文分词
• 词典法分词
• 双字词-长词哈希机制 text real-time processing
• Chinese word segmentation
• lexicon mechanism
• double-character-and-long-word-Hash-indexing(DCLWHI)

通过研究目前中文分词领域各类分词机制,注意到中文快速分词机制的关键在于对单双字词的识别,在这一思想下,提出了一种快速中文分词机制:双字词-长词哈希机制,通过提高单双字词的查询效率来实现对中文分词机制的改进.实验证明,该机制提高了中文文本分词的效率.

• 单位
  中国科学技术大学; 中国科学院研究生院; 信息安全国家重点实验室