因特网的迅速发展使得网络上的信息越来越丰富,对于网络上信息的利用与分析已经成为新的研究重点。从搜索引擎到数据挖掘,对互联网信息的利用越来越深入,而伴随着这些技术的要求以及信息量的增加,网络爬虫作为信息提供的主要来源,已成为有关互联网研究的热点之一。本文将对于这一热点研究进行综述,并对一种改进的中心化分布式网络爬虫进行详细描述、说明。