基于Node.js的分布式爬虫系统

作者：高玉民; 翟浩然

来源：电子技术与软件工程, 2019, (20): 16-17.

• 网络爬虫
• Node.js
• 数据采集

本文是基于Node.js平台开发的分布式爬虫系统。重点介绍了系统的结构框架、Master节点及Worker节点的功能等。系统具有分布式、扩展性好、敏捷易用的特点,对大规模数据采集具有一定的借鉴作用。