针对在传统的爬虫系统中，按照一定规则自动抓取相关信息时，通常包含大量的无效信息这一问题，提出了一种基于Java多线程的智能图片爬虫系统。该系统以爬取图片为例，利用HttpClient、JSoup、WebMagic框架以及线程池技术，实现了在传统爬虫系统基础上增加图片筛选模块，可以智能爬取有效图片，并且自动过滤重复图片，进一步优化了基于Java多线程的传统爬虫系统。
科研之友
微信
新浪微博
Facebook
分享链接
