科研之友
微信
新浪微博
Facebook
分享链接
摘要
在"辽河流域水环境管理技术综合示范"项目中,随着时间的累积,环境监测数据处理系统采集到的数据量越来越大.然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据.研究运用大数据技术,改进环境监测数据处理系统中的数据中心.利用HDFS强大的数据存储、管理功能,以应对数据量的增长,利用Map Reduce及Hadoop其他相关工具,快速处理海量数据,降低数据规模,最后将数据存储到数据库中.
- 单位
在"辽河流域水环境管理技术综合示范"项目中,随着时间的累积,环境监测数据处理系统采集到的数据量越来越大.然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据.研究运用大数据技术,改进环境监测数据处理系统中的数据中心.利用HDFS强大的数据存储、管理功能,以应对数据量的增长,利用Map Reduce及Hadoop其他相关工具,快速处理海量数据,降低数据规模,最后将数据存储到数据库中.
