基于云计算的配电自动化集群Lzo无损压缩新方法

作者：屈志坚; 郭亮

来源：计算机测量与控制, 2014, 22(04): 1222-1229.

DOI：10.16526/j.cnki.11-4762/tp.2014.04.043

• 配电自动化系统
• Hadoop云计算
• 集群压缩
• Lzo无损压缩
• 并行分布式计算

针对配电自动化监控系统中大数据集信息和压缩存储率低的问题,提出一种基于Hadoop云计算的信息流集群无损压缩新方法;从监控业务信息流出发,将Lzo无损压缩编码融入Map/Reduce计算任务中,实现对大数据集监控信息流的有效压缩;以配电网监控信息流的处理为例,分别取300万和1000万断面记录进行测试,结果表明:每秒可压缩处理记录数从4万提高至8.4万条,处理效率提高了52.4%,同时压缩比也从55.4%提高至62%,适用于动态量测过程的信息处理,提高了压缩处理的效果。

• 单位
  华东交通大学电气学院