基于Hadoop搭建高可用数据仓库的研究和实现

作者:刘晓莉; 李满; 熊超; 秦黄; 刘晓娟
来源:现代信息科技, 2023, 7(01): 99-101.
DOI:10.19850/j.cnki.2096-4706.2023.01.027

摘要

目前,网购交易的日益增加使得电商数据量呈现疯狂增长的态势,数据量的大增需要引入数据仓库,用以支持对大容量数据的分析和处理。在数据仓库的架构设计过程中,将HDFS作为底层文件存储系统,避免因某些原因而导致的系统崩溃。该文对高可用数据仓库的应用进行深入的研究,通过搭建高可用数据数仓平台,解决Hadoop单节点故障问题,提高数据采集和存储的效率,有效解决了传统数据分析的局限性,具有一定的应用推广价值。

全文