基于中央控制节点的分布式网络蜘蛛的设计与实现

作者：王颖; 钟勇; 朱颢东

来源：计算机应用, 2010, S2: 316-318.

• 分布式网络蜘蛛
• 网页质量
• 搜索引擎
• 分布式计算 Distributed Web Spider(DWS)
• page quality
• search engine
• distributed computing

针对互联网日益增长的网页数量,提出了一种采用分布式技术设计实现的分布式网络蜘蛛(DWS)。该系统作为搜索引擎的前端,快速有效地下载网页,以获得整个Internet更加完整的映像。DWS设置中央控制节点来协调各个Web Spider的行为,以宽度优先搜素获得高质量的网页,通过对域名系统(DNS)缓存来提高访问Web Server的速度,增加并行线程数量增加下载速度,并能动态地加入Web Spider节点或子中央控制节点,具有很强的灵活性和扩张能力。

• 单位
  中国科学院成都计算机应用研究所; 中国科学院大学