当今时代,互联网技术发展迅速,人们的社交需求日益增长,网络爬虫技术已被成熟地应用于各大搜索引擎和检索领域。文章针对分布式爬虫系统中的任务分配问题,提出了具体的爬行任务分配算法。本算法建立了多维度计算机资源模型,采用优先匹配启发式算法进行爬行任务的静态分配,通过求解目标函数,使整个系统的费用开销最小化。实验证明该算法能在满足系统需求的前提下,当系统需求确定时,使得总费用最小。
科研之友
微信
新浪微博
Facebook
分享链接
