网络爬虫技术作为极具特色的搜索引擎,可以通过互联网来抓取网路上的网页来获取内容,特别是在当前大数据的发展背景之下,如何基于python来发展网络爬虫技术成为亟待解决的问题。本文将就python语言的特点及主要内容进行论述,并就在大数据环境下如何基于python发展网络爬虫技术提一些意见和建议。