基于分布式网络爬虫的Web空间数据获取方法研究

作者：冯玲; 黄亮^*; 曾李阳; 朱齐华

来源：贵州大学学报(自然科学版), 2019, 36(01): 33-36.

DOI：10.15958/j.cnki.gdxbzrb.2019.01.07

• Web空间数据
• 分布式网络爬虫
• 原型系统

本文针对单机网络爬虫获取Web空间数据在抓取覆盖率和抓取效率上均受到一定程度的限制,难以保证所抓取数据的及时性以及全面性问题,研究了基于分布式网络爬虫的Web空间数据获取方法,设计了基于分布式网络爬虫的Web空间数据获取原型系统并且最终实现,并且通过对原型系统进行相关的测试来证实了本文所提出解决方法的有效性。

• 单位
  国家测绘地理信息局四川基础地理信息中心; 昆明理工大学