基于Spark平台的资源调度策略研究现状

作者：翁利国; 陈杰; 汪宇杰; 吴亦灵

来源：电脑知识与技术, 2019, 15(01): 14-16.

DOI：10.14004/j.cnki.ckt.2019.0007

• 大数据
• Spark
• 资源调度
• 性能优化
• 分布式

近年来,随着物联网和社交网络等网络技术的飞速发展,全球总数据量呈现爆炸式增长,大数据平台兴起,例如Hadoop,Spark,Storm等优异的大数据处理平台,其中Spark是基于内存处理的分布式计算平台,较为受欢迎。但是资源管理仍是大数据平台性能优化的核心研究,有效的资源管理对于调度的优化是非常重要。他们总结分析了目前国内外Spark平台资源调度策略的研究现状。