基于负学习的重加权鲁棒学习方法

作者：邹博士; 杨铭; 宗辰辰; 谢明昆; 黄圣君^*

来源：计算机应用, 2023, 1-7.

• 噪声标记学习
• 长尾学习
• 噪声长尾学习
• 样本重加权
• 负学习

噪声标记学习方法能够有效利用含有标记噪声的数据来训练模型，显著降低大规模数据集的标注成本。现有的噪声标记学习方法通常假设数据集中各个类别的样本数目是平衡的。然而，在许多真实场景下，数据往往存在噪声标记，且数据的真实分布具有长尾现象，这导致现有方法难以设计有效的指标，如训练损失或置信度区分尾部类别中的干净样本和噪声样本。为了解决噪声长尾学习问题，提出一种基于负学习的样本重加权鲁棒学习算法。具体来说，根据模型对头部类别和尾部类别样本的输出分布，提出一种新的样本权重计算方法，能够使干净样本的权重接近1，噪声样本的权重接近0。为了保证模型对样本的输出准确，结合负学习和交叉熵损失使用样本加权的损失函数训练模型。实验结果表明，在多种不平衡率和噪声率的CIFAR-10以及CIFAR-100数据集上，所提出方法相较于噪声长尾分类的最优基线模型TBSS (Two Stage BiDimensional Sample Selection)，平均准确率分别提升4.79%和3.46%。

• 单位
  南京航空航天大学