面向海量网络数据的收集方法研究与分析

作者：鲜敏

来源：电脑编程技巧与维护, 2021, (08): 64-66.

DOI：10.16184/j.cnki.comprg.2021.08.024

• 网络数据
• 爬虫
• 微博
• Scrapy框架

网络爬虫是当前应用最普遍的针对海量网络数据的收集方法,其通过一定规则和URL自动抓取互联网信息及数据,主要是由程序来实现的。研究和分析了海量网络数据收集方法的理论基础,针对微博用户信息数据收集,提出了一种基于Scrapy框架的爬虫方法。

• 单位
  陕西省地震局