基于Spark平台的资源调度策略研究现状

作者:翁利国; 陈杰; 汪宇杰; 吴亦灵
来源:电脑知识与技术, 2019, 15(01): 14-16.
DOI:10.14004/j.cnki.ckt.2019.0007

摘要

近年来,随着物联网和社交网络等网络技术的飞速发展,全球总数据量呈现爆炸式增长,大数据平台兴起,例如Hadoop,Spark,Storm等优异的大数据处理平台,其中Spark是基于内存处理的分布式计算平台,较为受欢迎。但是资源管理仍是大数据平台性能优化的核心研究,有效的资源管理对于调度的优化是非常重要。他们总结分析了目前国内外Spark平台资源调度策略的研究现状。