科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对传统数据抓取方法存在抓取成功率小和时延长的问题，提出基于Python爬虫技术的互联网数据抓取方法。首先，定义目标函数，通过计算获得网络数据关键特征；其次，建立爬虫网络相空间格局，获得Python爬虫的维度；最后，运用广度优先法抓取初始数据中的所有信息数据，找到对应的平衡点。实验结果表明，运用该方法的抓取成功率最高，时延最短。
- 单位
针对传统数据抓取方法存在抓取成功率小和时延长的问题，提出基于Python爬虫技术的互联网数据抓取方法。首先，定义目标函数，通过计算获得网络数据关键特征；其次，建立爬虫网络相空间格局，获得Python爬虫的维度；最后，运用广度优先法抓取初始数据中的所有信息数据，找到对应的平衡点。实验结果表明，运用该方法的抓取成功率最高，时延最短。
