融合HowNet和词林信息含量的词语相似度计算

作者:陈靖元; 周刚; 卢记仓
来源:小型微型计算机系统, 2022, 43(06): 1303-1308.
DOI:10.20009/j.cnki.21-1106/TP.2020-1078

摘要

目前基于信息含量的中文词语相似度算法普遍使用单一的知识库,存在信息不完备的问题.本文在现有的基于HowNet信息含量的词语相似度算法和基于同义词词林信息含量的词语相似度算法基础上,改进了信息含量的计算方法,并根据词语的不同分布情况将两种算法进行动态融合,充分利用了HowNet和同义词词林中的体系结构信息,改善了现有方法的局限性.经Miller&Charles(MC30)数据集测评,该算法所得到的词语相似度值与人工判定值之间的皮尔森相关系数为0.927,验证了融合多知识库策略的可行性,也证明了本文方法在实用方面可以达到符合人类主观判断的效果.