科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于延迟调度技术的大数据分析作业性能优化装置,其特点是大数据分析作业性能优化装置为作业预运行模块与作业相关参数模块、运行节点相关特征参数模块和DelayStage机制模块组成的大数据分析平台,各功能模块将提交大数据分析作业到带有DelayStage机制的Spark集群进行作业运行,并基于作业相关参数和运行节点的相关特征参数,对特定并行阶段的提交时间进行延迟执行,得到作业运行结果。本发明与现有技术相比具有结构简单,使用方便,经济、高效,各功能模块将集群的计算资源在并行阶段之间进行交叉复用,大大缓解并行阶段之间的资源竞争,从而提升集群资源的利用率,并优化作业运行性能。
- 单位
