一种面向网店商品搜索的中文分词系统设计

作者:王敏; 叶宽余; 薛峰
来源:中国仪器仪表学会(CIS)、中国系统仿真学会(CSSS)、中国仪器仪表学会微型计算机应用学会(CACIS)、中国系统仿真学会复杂系统建模与仿真计算专业委员会筹备处(CSSC), 中国,贵州省,贵阳市.

摘要

论文设计新的数据结构对网店商品的原始数据进行加工处理,形成一个存储所有商品信息的词条字典。结合全切分算法,实现对用户输入关键词的完全切分,并通过和词条字典的匹配得到所有候选的词条组合。为了消除分词过程中的歧义和不合理的词条组合,系统结合商品类目树的存储结构,通过算法和引入权值计算的方法对词条组合进行排序,得到最佳结果。