基于Scrapy框架爬取温州租房信息的研究与实现

作者：范鹏程; 涂嘉庆

来源：电脑知识与技术, 2019, 15(18): 4-6.

DOI：10.14004/j.cnki.ckt.2019.1930

• 租房爬虫
• Scrapy框架
• 分布式
• 去重策略

该文基于Scrapy框架研究并实现了爬取温州租房信息的爬虫程序,程序采用分布式结构,运用去重算法去除重复URL提高爬虫的效率,并针对反爬虫策略提出多种解决方法。爬取的信息存储在MongoDB数据库中,最终通过测试和分析得出位置、朝向对温州租房价格的影响,得出租房性价比较高的方案。

• 单位
  温州商学院