面向DNN的高并发NVM文件系统

作者：蔡涛; 王飞; 马跃明; 牛德姣; 李雷

来源：小型微型计算机系统, 2023, 44(09): 1898-1905.

DOI：10.20009/j.cnki.21-1106/tp.2022-0037

• NVM
• 高并发
• 文件系统
• DNN训练

DNN训练中需要反复频繁读写海量参数，NVM具有读写速度快的优势，是提高DNN训练效率的有效手段.但现有的NVM文件系统为了应对上层多种复杂的应用普遍使用基于文件的锁机制，难以利用多核并发读写提高DNN训练中对海量参数的I/O效率.本文针对DNN训练时的特性和NVM中存在的I/O软件栈的挑战，设计了基于并发线程的细粒度锁和基于两层日志的文件并发I/O机制，并实现了面向DNN高并发NVM文件系统的原型DNNFS,使用Filebench和Fio在多种不同类型负载下进行了测试，实验结果表明DNNFS相比NOVA最大能提高35.8%的IOPS值和21.6%的I/O带宽.

• 单位
  江苏大学