面向异构分布式机器学习集群的任务配置方法

作者：姬文浩; 顾华玺; 李竟蔚; 余晓杉; 任泽昂; 李硕

来源：2021-07-30, 中国, CN202110870249.8.

一种面向异构分布式机器学习集群的任务配置方法,其步骤如下：构建异构分布式机器学习集群；生成训练集和预测集；对卷积神经网络进行预训练；生成参数服务器的随机森林训练样本子集；构建随机森林模型；生成每个节点的推断训练时间；为每个节点配置任务；更新预训练好的卷积神经网络；训练卷积神经网络；将每个节点对应的卷积神经网络的训练次数达到最大次数时,再针对分布式机器学习集群中存在的节点资源特征参数变化重新配置节点任务。本发明提高了参数服务器为异构分布式机器学习集群中每个节点配置的任务与节点自身资源匹配度,并可根据每个节点资源变化,动态的为每个节点重新配置任务。

• 单位
  西安电子科技大学