摘要

<正>随着大数据时代的来临,无论是个人还是企业,对于数据的需求都越来越大。这种需求催生了如今异常热门的数据产业,也催生了日益完善的网络数据采集技术。这种需求扩大的同时也让网络爬虫日益猖獗,甚至影响到了网站和APP的正常运行,高频的网络爬虫行为无异于分布式拒绝服务(DDoS)攻击。