基于Spark的分布式大数据分析建模系统的设计与实现

作者：徐时芳; 罗晓宾; 陈阳华

来源：现代电子技术, 2018, 41(20): 172-178.

DOI：10.16652/j.issn.1004-373x.2018.20.042

• 分布式大数据
• Spark
• 数据分析
• 数据建模
• 非结构化数据
• 故障诊断

针对分布式大数据对数据存储、清洗、转化、聚合、挖掘和分析工作所造成的挑战,设计并实现了一种基于Spark的分布式大数据分析建模系统。该系统通过数据采集、数据存储、数据分析、数据管理和数据应用5个模块,实现结构化、半结构化及非结构化数据的适配采集与离线、在线分析处理;并使用管理和控制平台,实现系统的协调运行。软硬件实现及建模测试结果表明,所提出的系统能实现具体场景故障诊断数据的有效、精确聚类,并可满足大数据处理的速度和精度需求。

• 单位
  黔南民族师范学院