基于MapReduce的SPDK大规模数据高效研究

作者：张学智; 李维帅; 张**; 田升; 王海峰^*

来源：电脑编程技巧与维护, 2019, (10): 78-90.

DOI：10.16184/j.cnki.comprg.2019.10.028

• MapReduce技术
• SPDK框架
• 大规模数据处理
• I/O处理

在当今大数据时代,计算机处理数据的要求也随之增加。当待处理数据的容量大于计算机内存容量之时,常常需要内存与外存进行数据之间的置换过程。在数据置换过程中,涉及大量的I/O读写操作,数据处理算法的效率较低。Intel公司发行用于加速SSD的应用软件加速库SPDK能够很大程度上减少NVMe I/O Command的延迟,从根本上提高I/O读写的性能。

• 单位
  临沂大学