基于持久性内存的民航重复数据删除方法

作者：丁建立; 李慧

来源：现代电子技术, 2022, 45(10): 131-136.

DOI：10.16652/j.issn.1004-373x.2022.10.025

• 民航数据
• 重复数据删除
• 持久性内存
• 文件定位
• 重复率阈值
• 容灾备份

针对民航数据在存储、容灾备份时存在数据量大、备份时间长的问题，文中改进基于机械硬盘的传统去重方法，提出一种基于持久性内存（PM）的民航重复数据删除方法。该方法根据民航数据长度小而数量多的特点，采用基于位置的内容比较重删法，首先采集文件数据块的指纹并提取指纹样本；然后利用持久性内存，根据指纹样本的ID定位文件位置；再匹配内容，判断是否需要进行二次细化分析；最后进行重删或备份。实验结果表明，与传统重删方法相比，文中优化方法在对民航数据库进行容灾备份时能够去除的重复数据占比约为98.08%，相较传统方法去重时间缩短1 2～2 3，所提方法能够提高去重效率，减少存储空间开销，使网络传输的带宽压力最小化。

• 单位
  中国民航大学