基于混合内存的Apache Spark缓存系统实现与优化

作者：魏森; 周浩然; 胡创; 程大钊^*

来源：计算机科学, 2023, 50(06): 10-21.

• Spark
• 缓存管理策略
• NVM
• 混合内存

随着大数据时代数据规模的激增，内存计算框架得到了长足发展。主流内存计算框架Apache Spark使用内存来缓存中间结果，大幅度地提升了数据处理速度。同时，具有较快的读写速度和较大容量的非易失性存储器NVM在内存计算领域展现出了巨大的发展前景，使用DRAM和NVM构建Spark混合缓存系统成为一种可行方案。文中提出了一种基于DRAM-NVM混合内存的Spark缓存系统，该系统选择平面混合缓存模型作为设计方案，然后为缓存块管理系统设计了专用的数据结构，并提出了适用于Spark的混合缓存系统整体设计架构。另外，为了将频繁访问的缓存块保存在DRAM缓存中，提出了基于缓存块最小重用代价的混合缓存管理策略。首先从DAG信息中获取RDD的未来重用次数，未来重用次数多的缓存块将被优先保存在DRAM缓存中，并在缓存块迁移时考虑了迁移成本。设计实验表明，DRAM-NVM混合缓存相比原有缓存系统的性能平均提升了53.06%,对于相同的混合内存，所提策略相比默认缓存策略有平均35.09%的提升。同时，使用文中设计的混合系统只需要1/4的DRAM和3/4的NVM作为缓存，就能达到全部DRAM缓存约79%的性能表现。