基于Hadoop分布式平台的Web文本关键词提取方案

作者：姚卫国; 张东波

来源：湘潭大学自然科学学报, 2016, 38(2): 79-83.

DOI：10.3969/j.issn.1000-5900.2016.02.016

• Web文本
• 关键词提取
• Hadoop平台
• 自然语言处理
• 分布式

针对海量Web文本的关键词提取问题,提出一种基于Hadoop分布式计算平台的关键词提取方案.首先,配置Hadoop平台,使其能够支持自然语言处理过程;然后,使用GATE工具对Web文本进行词句分割、词性标注和注释规则操作,得到候选关键词集;最后,利用单词位置和跨度重要性因子对传统TF-IDF算法进行加权,从而计算候选关键词与文档之间的相关性,最终获得该文档的关键词以标注文档属性.实验结果表明,提出的分布式关键词提取方案能够快速准确地提取Web文档的关键词.

• 单位
  南昌理工学院; 华南理工大学