基于发布时间的新闻网页去重方法研究

作者：罗永莲; 张永奎

来源：计算机工程与应用, 2007, (06): 119-121.

• 新闻网页
• 主题内容抽取
• 网页去重
• 权值计算 news webpages
• theme's extraction
• duplicated web pages removal
• weight calculating

网页检索结果中,用户经常会得到内容相同的冗余页面。它们不但浪费了存储资源,而且给信息检索或其它文本处理带来诸多不便。论文在抽取出新闻标题、主题内容和发布日期的前提下,依据新闻的时间性(易碎性),按发布日期分“群”,对冗余网页去重方法进行了探索性研究,从而很大程度地缩小了计算时间,提高了去重准确性。

• 单位
  晋中学院; 山西大学