摘要

通过网络爬虫对网页数据进行爬取是进行大数据分析的关键步骤,但由于网站运行机制存在差异导致网络爬虫经常爬取网页失败。以Python第三方爬取库为研究工具,探索网络爬虫如何爬取AJAX机制的网页数据并提出具体的解决方案。实验结果表明方案能有效解决网络爬虫爬取网页失败的问题,可满足大部分网络爬取应用场景。

  • 单位
    河南财政金融学院