基于Spark的大数据处理平台的搭建与研究

作者：许礼捷

来源：电脑知识与技术, 2016, 12(15): 14-16.

DOI：10.14004/j.cnki.ckt.2016.2013

• 大数据
• Spark
• 集群
• Yarn
• 交互式编程

该文阐述了Spark处理技术在大数据框架上的性能提升优势,分析了BDAS生态系统框架中Spark的任务处理流程图。详细说明了Spark集群的搭建过程和运行状态,并通过Spark Shell的交互界面进行交互式编程,实现对文本内容中单词出现次数的统计。

• 单位
  沙洲职业工学院