本发明公开了一种基于延迟调度技术的大数据分析作业性能优化方法,其特点是采用大数据分析作业相关参数和运行节点相关特征参数的阶段延迟调度策略,大数据分析作业性能的具体优化包括：提交大数据分析作业预运行；获取大数据分析作业相关参数；收集运行节点相关特征参数等步骤。本发明与现有技术相比具有将集群的计算资源在并行阶段之间进行交叉复用,可缓解并行阶段之间的资源竞争,从而提升集群资源的利用率,并优化作业运行性能。
科研之友
微信
新浪微博
Facebook
分享链接
