摘要

网络爬虫和网络反爬虫在博弈中不断成长,网络爬虫的存在已经成为网络信息时代一种常态。随着大数据和人工智能技术的出现,网络爬虫也越来越规模化和智能化,对网络爬虫的研究也要越来越明晰且与时俱进。本文对目前网络爬虫的特征、分类、所使用的工作流程和爬行策略进行梳理和比较,为网络爬虫提供较全面的总结,为进一步研究网络爬虫和网络反爬虫提供重要参考。