基于Spark核心架构的大数据平台技术研究与实践

作者：曹猛

来源：中国战略新兴产业, 2018, (28): 132.

DOI：10.19474/j.cnki.10-1156/f.005341

• Spark
• 核心架构
• 大数据平台
• 技术研究
• 实践

随着科学技术在实践中的不断应用,工业生产中使用Spark技术已经逐渐形成常态,但是由于Spark的出现时间还不长,在版本开发升级上速度缓慢,因此当下能够将Spark框架在具备大数据场景的开发情况下进行使用和挖掘的情况较少,只有在原数据毛班上将某些功能进行改写,让Spark框架发挥功效。Spark不仅在大数据处理挖掘方面还有待提高,在整体框架的性能上也差强人意,但是功能上存在的弊端仍是限制Spark框架进一步推广的原因之一。因此本文通过对Spark在大数据平台上进行的技术开发进行研究,通过这种更深入的探讨帮助我国Spark核心架构进行推广。