基于Scrapy框架的网站数据抓爬的技术实现

作者：欧阳元东

来源：电子制作, 2020, Z2: 49-29.

DOI：10.16589/j.cnki.cn11-3571/tn.2020.z2.021

• Scrapy
• 网站数据
• 爬虫

从网页里爬取需要的数据是数据分析的重要前提,而爬取数据工具很多,基于Scrapy框架的爬虫工具就是其中之一。该工具有爬取速度快,自动调节爬取机制,吞吐量大[1]等优点而备受青睐。本文通过介绍Scrapy框架的运行机制、实现网络数据爬取技术爬取来帮助读者理解与学习基于Scrapy框架的爬虫技术。