基于ANN的改进Spark系统在空管大数据处理中的应用

作者：潘卫军; 刘皓晨; 王润东; 胡博文

来源：计算机与现代化, 2020, (12): 78-89.

• 大数据
• Spark
• 人工神经网络
• 数据处理
• 空管

针对Spark系统参数量巨大且手动调整参数具有耗时、效率低下等问题,提出一种基于人工神经网络(Artificial Neural Network,ANN)的方法来对Spark系统的配置参数进行自动调整,保障在处理空管大数据时的速度和性能。使用Dell Power Edge T430服务器测试了空管大数据中5种常用的不同大小的数据集,以验证该方法。研究表明,与默认参数配置相比,该方法可将Spark系统的性能平均提高约35%。随着数据集大小的增加,性能呈现进一步提高的趋势。该方法可以有效地保障Spark系统的参数调整效率,达到高效处理空管大数据的目的。

• 单位
  中国民用航空飞行学院