基于Spark架构的机器学习平台设计与研究

作者：宋国兴; 张家铭; 张清伟; 薛飏

来源：信息技术与信息化, 2020, (05): 55-58.

• 并行优化
• 实时
• 混合架构
• 机器学习

随着互联网信息技术的大规模应用,挖掘海量实时数据蕴含的价值受到越来越多地关注和研究。本文构建基于Spark的机器学习平台,该平台集成经过并行优化改进的经典机器学习算法,满足在不同场景下的机器学习需求。最后通过在单机环境、Hadoop环境和本文平台三个环境下进行实验对比,说明本文构建的混合架构机器学习平台性能有很大的提升。