基于Python爬虫的校园数据获取

作者：苏艺航; 徐海蛟^*; 何佳蕾; 杨振宇; 王佳鹏

来源：电脑知识与技术, 2019, 15(17): 86-88.

DOI：10.14004/j.cnki.ckt.2019.1840

• 网络爬虫
• HTTP分析
• 模拟登陆
• 网络反爬
• Scrapy框架

随着移动时代的到来,只适配了电脑网页、性能羸弱的校园教务系统,已经不能满足学生们的移动查询需求。为此,设计了一种基于网络爬虫的高实用性查询系统。它首先通过Python爬虫以HTTP(hypertext transport protocol)分析与模拟方法获取校园教务系统的网页数据,然后对网页数据进行HTTP解析并定位以精确抽取目标校园数据,最后存入高速NoSQL数据库以供快速查询。通过课表获取实例,验证了该设计的可行性与有效性。

• 单位
  广东第二师范学院