面向网络爬虫的高可用动态池系统设计与实现

作者：王佳鹏; 徐海蛟^*; 许培宇; 何佳蕾; 林冠成

来源：福建电脑, 2019, 35(06): 8-11.

DOI：10.16707/j.cnki.fjpc.2019.06.002

• IP代理池
• IP访问频率
• 网络爬虫
• NoSQL

大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能。通过带有动态池系统的爬虫实验,验证了该系统的可行性与有效性。

• 单位
  广东第二师范学院