科研之友
微信
新浪微博
Facebook
分享链接
摘要
基于目前国产通用关系型数据库软件,提出大数据适应性改造方案.该方案基于行列混合的压缩存储引擎(hybrid column compression,HCC),解决大数据的磁盘I/O读取性能问题,并降低了存储采购成本;利用智能索引、Hash索引、子串索引和自定义分词索引技术,解决大数据精确查询的性能问题;采用多机并行计算技术(multi-machine parallel,MPP)和多CPU核心并行计算技术(multi-CPU core parallel,SMP),解决大数据统计分析性能问题;通过数据全生命周期管理,解决大数据硬件资源优化分配问题;构建在线平滑扩展的完全无共享平台架构,解决大数据膨胀带来的系统扩展性问题;通过云化的大数据安全框架,设计了分布式的大数据安全解决方案;在应用改造方案中设计并实现了大数据存储平台,通过测试与应用效果分析,验证了技术方案的合理性,平台的技术指标接近国外同类产品的目标.
