基于Node.JS的轻量级定向爬虫算法的设计与应用

作者：刘书影

来源：哈尔滨师范大学自然科学学报, 2016, 32(06): 26-29.

• 网络爬虫
• Web Magic
• 搜索引擎
• Light Crawler

首先介绍了网络爬虫的定义,给出其分类及工作原理,最后在介绍垂直爬虫Web magic框架的基础上,设计并实现了基于Node.JS的轻量级网络爬虫,并应用于交通应急网站新闻抓取模块,效果较好.

• 单位
  安徽新华学院