科研之友
微信
新浪微博
Facebook
分享链接
摘要
基于特征选择和模型可解释方法构建可解释性强的云平台任务终止状态预测模型，可视化任务/作业的静态和动态属性与终止状态之间的映射关系，进而找出负载特征与任务终止状态之间的映射机理.利用Google公开的工作负载监控日志，并加入云平台中任务的动态信息，采用沙普利加和解释(shapley additive explain，SHAP)找出静态和动态属性对终止状态影响的重要性，利用变量重要性结合SHAP值和XGBoost模型，对任务终止状态预测模型建模后的结果进行解释，使用可视化技术呈现负载特征如何影响模型对不同任务终止状态的预测.用SHAP值绝对值的平均值衡量特征的重要性，实现任务不同终止状态特征重要性的全局可视化，根据结果筛选出对任务终止状态预测模型影响大的20个变量，作为特征筛选的依据；由可视化的结果可知，任务运行过程中，各特征的不同特征值对任务的终止状态有影响，不同特征值对终止状态的产生有不同的影响.特征选择结合模型可解释性方法运用于任务终止状态预测模型构建流程中，可辅助构建高分类性能及易于理解的任务终止状态预测模型，通过对负载特征与任务终止状态之间映射机理的探索，可以优化云平台的调度机制.
- 单位
