科研之友
微信
新浪微博
Facebook
分享链接
摘要
互联网的高速发展使得大数据的应用越来越广泛，使得分布式爬虫处于愈来愈重要的地位。目前主流开源爬虫框架在网络通信开销上优化甚少，缺乏一个有效的方案来减少网络开销问题。论文利用对等式架构的爬行器既是任务的消费者又是任务的生产者，提出了任务尽量在本地执行的优化方向。基于双缓冲技术实现的大粒度任务动态负载均衡策略，能有效地降低通信频次，基于高速缓存原理的URL判重方案，以“空间换时间”的方式，有效地提升爬虫URL判重性能。实验结果表明，该策略具有良好的扩展性、鲁棒性，能使分布式系统的性能优势得到更为充分的发挥。
-
单位陕西师范大学; 运城学院
