海量工业大数据并行传输与扩容存储系统设计

作者：胡刚^*; 李贺; 张桓; 李伟斌

来源：单片机与嵌入式系统应用, 2022, 22(05): 34-38.

• 工业大数据
• 并行传输
• 扩容存储
• 存储安全性
• 服务器负载

针对数据存储安全性差、数据传输服务器负载压力大等问题,本文设计了海量工业大数据并行传输与扩容存储系统。并行传输子系统通过用户界面模块、无线通信模块以及USB模块等相互协作,采用FPGA并行传输技术,基于Cy-clone V系列核心处理器,将字符编码后以P2P形式进行并行高速传输;扩容存储子系统通过整合dedup与map/reduce技术删除接口采集的重复数据,利用大数据安全容错算法控制数据的收敛程度与弹性,实现大数据扩容存储。实验结果证明,系统的大数据存储完整度较高;能够实现大数据稳定并行传输;数据存储安全性高,且在大数据并行传输时,服务器实时负载压力始终未超过20%。

• 单位
  中国航发南方工业有限公司