基于TF-IDF算法的唐代著名诗僧残缺诗句的填充方法研究

作者：邓金; 史国阳; 蔡天鸿; 朱晋; 怀丽波

来源：现代计算机(专业版), 2019, (08): 7-11+15.

• 唐代诗僧
• VSM
• TF-IDF
• 余弦相似度 Poetry Monks of the Tang Dynasty
• Natural Language Processing
• Cosine Similarity

由于历史流传过程中一些不可抗因素,唐代著名诗僧部分诗句出现残缺。通过引入自然语言处理的相关技术进行填充。首先对唐代诗僧皎然、齐己、贯休的完整诗句采用中文分词系统进行分词,获得词典并利用TF-IDF方法构造特征向量;其次,采用KNN分类算法,利用向量空间模型的余弦相似度作为度量标准,选取词库中相似度最高的词语对部分残缺诗句进行填充。最后,为了验证该算法的可行性,分别进行两组对比实验。实验结果表明,所提出的方法对填充词语提供客观的衡量标准,具有较强的可行性,对文学研究具有一定的参考价值。

• 单位
  延边大学