爬虫系统中标签删除功能的设计及优化

作者：邓子云^*

来源：计算机系统应用, 2019, 28(01): 176-181.

DOI：10.15888/j.cnki.csa.006736

• 标签删除功能
• 递归算法
• 双线程设计
• 性能实验

在用爬虫爬取到大型商品网站的大规模网页数据集后,要将网页数据集作进一步筛选以得到目标数据集,筛选之前要做的一项准备工作就是删除网页中多余的标签.为此,用递归算法的思想给出了标签删除的算法,提出了标签删除功能的软件设计思想,对设计进行了2次设计改进及性能优化,最终采用了1个缓冲区维系线程1个标签删除线程的双线程设计思想.实验表明,优化后的标签删除功能在单机上每1000个网页的平均处理时间只需19.7 s,处理20万个网页只需1.1小时.

• 单位
  长沙商贸旅游职业技术学院