科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着信息化技术和终端智能的迅猛发展,系统需要处理的数据呈现海量化,使得海量数据的存储、挖掘成为当前亟待解决的问题。使用云计算技术构建集群系统,可有效地解决海量数据的存储、共享和深度挖掘问题。首先,采用平台Hadoop构建主框架,并采用异构存储的方式将各部门的业务数据转储到集群系统各节点上存储,有效地解决了大数据的存储和备份问题。最后借鉴Hive和Hbase优点设计数据挖掘子系统,提高了集群系统对海量数据的分析能力。实时性分析实验结果表明此次采用的方法较之以往的方法再获得了30%的提升。
- 单位
