一种基于信息熵的web信息提取的方法研究

作者：张云雷

来源：科技资讯, 2012, (22): 12-12,14.

DOI：10.3969/j.issn.1672-3791.2012.22.007

• web内容挖掘
• 信息提取
• DOM

web页的噪声数据影响了文本提取算法的效率。提出了基于信息熵和DOM树的提取web正文信息的方法,利用文档对象模型技术提取网页包含的内容,将得到的信息融合成信息列表,再利用熵原理从信息列表中识别出网站的真正重复信息和正文信息。实验结果验证了方法的有效性。

• 单位
  海口经济学院