近年来,随着互联网的迅速发展,人们对于数据的挖掘与应用越来越重视。为了让程序自动浏览互联网中的海量网页,把用户需要的信息进行收集整理,转化成便于阅读的形式并存储起来,方便用户的理解和使用。研究了分布式爬虫和Scrapy框架,将Scrapy和Redis相结合,设计并实现了一个基于Scrapy框架的分布式网站采集系统。结果表明该系统操作简单,可以降低编写爬虫的难度,同时分布式的采用也提高了爬虫采集的效率。
科研之友
微信
新浪微博
Facebook
分享链接
