基于Python的微博数据爬虫程序设计研究

作者：王英杰

来源：信息与电脑(理论版), 2018, (23): 93-94.

• Python
• 新浪微博
• 微博数据
• 爬虫程序

大数据时代的到来使得数据处理需求快速增长,作为国内主流社交平台,新浪微博蕴藏着海量数据。笔者以新浪微博数据爬取为例,介绍了数据爬取技术的相关概念,阐述了新浪微博数据的爬取方式,并模拟登录新浪微博、验证码识别、网页解析、数据处理与保存、突破发爬虫机制等探讨了微博数据爬虫程序设计。