基于原型学习改进的伪标签半监督学习算法

作者：杨雨龙; 郭田德; 韩丛英

来源：中国科学院大学学报, 2021, 38(06): 841-851.

DOI：10.7523/j.issn.2095-6134.2021.06.015

• 半监督学习
• 伪标签
• MixUp
• 图注意力模型
• 原型学习

近年来,基于图像增广和一致性正则化的半监督学习(semi-supervised learning,SSL)方法被广泛应用并取得了很大的成功。然而,由于伪标签算法存在"认知偏误"问题,即模型的错误通过伪标签累积从而难以改正,因此很少有人关注基于伪标签(pseudo-labeling,PL)的半监督学习方法。提出一种特征图的原型图注意力特征修正模型(prototype attention layer,PAL):即在神经网络映射的特征空间上学习一个图注意力模型,将此模型应用于特征空间中,可以充分利用原型的信息来修正特征,将修正后的特征所产生的伪标签与原型分配产生的伪标签随机线性组合,从而得到新的伪标签。将这一模型应用到2种伪标签半监督学习框架上所得到的算法(prototype attention improved pseudo-labeling,PAIPL),在CIFAR-10和CIFAR-100的多个半监督分类问题上进行测试,分类准确率都得到了显著提升。特别地,将提出的修正模型应用于伪标签半监督学习PLCB框架时,又提出相互混合的监督技术,从而取得了更好的效果。还将提出的模型应用到其他多个伪标签半监督学习框架上,并在多个数据集上进行实验,验证了所提出的模型作为一个附加模块是普适且有效的。

• 单位
  中国科学院; 中国科学院大学