摘要

网站与搜索引擎中爬虫属于核心元素,网络爬虫可以在网络中快速抓取海量有用信息。为了对旅游网站中信息数据展开爬取,对网站中热门景点与热门地区进行分析,研究一种以SCRAPY框架为基础的网络爬虫,分析爬取的数据,借助第三方库对数据信息进行可视化处理。最终试运行结果显示,该程序可以对微博、马蜂窝与其他数据量密集网站进行有效爬取。

全文