基于自适应损失函数加权的多任务模型训练方法

作者：田联房; 吴黄源; 李彬

来源：2021-11-23, 中国, CN202111397391.1.

本发明公开了一种基于自适应损失函数加权的多任务模型训练方法,包括：1)获得数据集的图像和标签,构建待训练的多任务模型；2)将图像输入至多任务模型中,计算不同任务的损失值及初始梯度；3)将第i个任务的初始梯度进行归一化,并计算第i个任务的期望梯度；4)通过第i个任务归一化后的初始梯度及其期望梯度,计算其梯度差值,更新其任务权重；5)重复步骤3)至步骤4),更新N个任务损失的权重,得到加权的多任务损失,并通过反向传播算法对多任务模型进行参数更新,得到训练完成的多任务模型。本发明对不同任务损失的权重进行自适应加权,缓解了任务间的梯度冲突,提高了多任务模型训练的精度和效率。

• 单位
  华南理工大学