摘要

网络信息资源的迅猛发展使得传统搜索引挚已无法满足人们对于信息获取渠道方式的需求,作为搜索引挚的基础和重要组成部分,网络爬虫且显得至关重要。网络爬虫可以通过大数据技术手段优化,快速且精准的进行互联网搜索、抓取相关信息。该文就网络爬虫的基本概念、爬行期间面临的障碍及相对应的措施,再者是从体系结构、爬行策略和典型应用等方向探讨并讲解了网络爬虫的深层概念及发展方向。