基于机器学习的并行文件系统性能预测

作者：赵铁柱; 董守斌; 董守斌; VerdiMarch; SimonSee

来源：Z201107014, 2011, (07): 1202-1215.

• 并行文件系统
• 性能评估
• 性能预测
• 性能模型
• 机器学习 parallel file system
• performance evaluation
• performance prediction
• performance model
• machine learning

并行文件系统能有效解决高性能计算系统的海量数据存储和I/O瓶颈问题.由于影响系统性能的因素十分复杂,如何有效地评估系统性能并对性能进行预测成为一个潜在的挑战和热点.以并行文件系统的性能评估和预测作为研究目标,在研究文件系统的架构和性能因子后,设计了一个基于机器学习的并行文件系统预测模型,运用特征选择算法对性能因子数量进行约简,挖掘出系统性能和影响因子之间的特定的关系进行性能预测.通过设计大量实验用例,对特定的Lustre文件系统进行性能评估和预测.评估和实验结果表明:threads/OST、对象存储器(OSS)的数量、磁盘数目和RAID的组织方式是4个调整系统性能最重要因子,预测结果的平均相对...

• 单位
  华南理工大学; 五邑大学; 新加坡国立大学; 南洋理工大学