基于文本密度模型的Web正文抽取

作者：朱泽德; 李淼; **; 陈雷; 曾新华

来源：模式识别与人工智能, 2013, (07): 667-672.

DOI：10.16451/j.cnki.issn1003-6059.2013.07.006

• Web挖掘
• 正文抽取
• 文本密度
• 高斯平滑
• 最大子序列 Web Mining
• Content Extraction
• Text Density
• Gaussian Smoothing
• Maximum Subsequence

为从大量无关信息中获取有用内容,正文抽取成为Web数据应用不可或缺的组成部分.文中提出一种基于文本密度模型的新闻网页正文抽取方法.主要通过融合网页结构和语言特征的统计模型,将网页文档按文本行转化成正、负密度序列,再根据邻近行的内容连续性,利用高斯平滑技术修正文本密度序列,最后采用改进的最大子序列分割序列抽取正文内容.该方法保持正文完整性并排除噪声干扰,且无需人工干预或反复训练.实验结果表明基于文本密度抽取正文对不同数据源具有广泛的适应性,且准确率和召回率优于现有统计模型.

• 单位
  中国科学院合肥智能机械研究所; 中国科学技术大学