基于互信息度量的Web信息抽取

作者：张奇; 郝志峰; 温雯; 蔡瑞初

来源：计算机应用与软件, 2013, (12): 15-18.

• 信息抽取
• DOM
• 互信息
• 阈值 Information extraction DOM Mutual information Threshold

如何从纷繁复杂的网页中抽取有价值的信息是信息检索和Web数据挖掘中的重要问题。利用网页集信息所呈现的分布特点,提出基于互信息度量的Web信息抽取方法,它能够自动识别噪声信息并保留关键信息。该方法将网页解析成DOM树,计算叶子节点的互信息值;然后按DOM树结构对叶子节点进行分块聚集,向上递归求得标签的互信息值,并以此作为阈值区分噪声与非噪声。最后与多个国内知名网站上的实验及对比结果证明了该方法的有效性。

• 单位
  计算机软件新技术国家重点实验室; 南京大学; 广东工业大学