学习大数据必须掌握的核心技术

来源：计算机与网络, 2019, 45(11): 36-39.

<正>大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、No SQL数据库、数据仓库、机器学习、并行计算以及可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。