Alluxio数据随机访问方法的研究

作者：魏占辰; 黄秋兰; 孙功星; 刘晓宇; 王轶

来源：计算机工程与应用, 2020, 56(13): 77-83.

• Alluxio分布式内存存储系统
• 数据随机访问
• 内存计算
• 内存映射
• 科学计算

为保证系统的可扩展性和容错性,Alluxio简化了文件系统实现,不支持数据随机访问,但在实际情况中仍有许多应用需要数据随机访问。Alluxio原生Java接口灵活性较差,不支持传统应用,不能完全发挥内存的高速性能。因此在深入分析Alluxio数据读写原理后,提出了新式数据随机访问方法,其核心思想是改变原有数据访问和缓存时机,将对Alluxio中的文件读写转化为对本地内存文件系统的文件读写,从而实现对数据的随机访问。在此基础上,还可以使用内存映射技术进一步提高本地文件的读写性能。测试结果表明,该方法的数据读取性能提升了14.5%,写入性能提升了1.4倍以上。在实际应用场景中合理使用Alluxio及新式数据随机访问方法,可获得数倍至数十倍的性能提升。

• 单位
  中国科学院大学; 中国科学院高能物理研究所