网站反爬虫策略的分析与研究

作者：伏康; 杜振鹏

来源：电脑知识与技术, 2019, 15(28): 28-30.

DOI：10.14004/j.cnki.ckt.2019.3535

• 大数据
• 网络爬虫
• 爬虫
• 反爬措施
• 反爬策略

随着大数据时代的来临,大数据在日常生活中的应用显得尤为重要。如何便捷、快速地获取数据将成为提高竞争力的重要手段,而通过网络爬虫这一新兴技术能够非常高效的获取网络中的数据。但是如果不对爬虫进行控制,爬虫也会对网站造成巨大危害。为了减少网络爬虫对于网站的危害,详细阐述了网络爬虫的工作原理、种类以及URL的搜索策略,针对某些网站的"反爬"措施,提出相应的提出几种反爬策略。从而减轻了网站服务器压力,保护了数据,防止数据的大量流失。

• 单位
  山东财经大学