科研之友
微信
新浪微博
Facebook
分享链接
摘要
针对大数据分析过程易受数据维度的影响，造成大数据分析平台运行时间长、数据分析平均绝对误差高的问题，构建了基于Spark技术的大数据智能分析平台。先采用局部约束学习方法降低大数据维度，再利用Spark技术建立兼具应用服务层、权限管理层、中间服务层和基础资源层的平台分层架构，参考映射-归约数据网络质量分析系统，结合数据分析编排器设计平台后台分析服务器，实现了基于Spark技术的大数据智能分析平台的构建。所构建平台加速比参数大于9,运行速度较快，运行效率在99%左右，数据分析平均绝对误差为0.5%～0.8%。
-
单位山西旅游职业学院
