摘要

为了方便用户简单高效的获取互联网数据,提出一种结合Web技术与爬虫技术的在线轻量级网络爬虫。该爬虫可在Web页面上进行配置,用户提交配置到远程服务器,服务器端爬虫程序进行数据抓取分析,最后由Web应用将结果返回到页面进行预览,同时支持生成数据结果接口URL,方便用户调用服务器上爬虫程序爬到的数据。