Python代理IP定向采集爬虫的设计与实现

作者：白杨

来源：中国新通信, 2019, 21(01): 35-36.

• Scrapy
• 代理IP
• 定向爬虫
• Python
• SQLite

论文使用Python编程语言,实现了一个基于Scrapy的代理IP定向采集爬虫,可以自动抓取互联网上的代理IP相关信息、进行结构化处理、存储为特定格式并进行可视化展示,以对科学研究与实际应用提供数据支撑。

• 单位
  西安文理学院