一种高效的自监督元迁移小样本学习算法

作者:史家辉; 郝小慧; 李雁妮*
来源:西安电子科技大学学报, 2021, 48(06): 48-56.
DOI:10.19665/j.issn1001-2400.2021.06.007

摘要

当前深度学习的一个关键难点即小样本问题。尽管已出现了一些较有效的小样本算法,但现有方法的模型提取的特征有限,且模型的泛化能力较弱。另外,如果新类的数据和训练集中数据的分布差异大,分类结果就会很差。针对已有算法的上述缺陷,提出了残差注意力膨胀卷积网络作为网络模型的特征提取器,膨胀分支的设计增大了模型感受野且可以提取不同尺寸的特征,基于图片的残差注意力增强了模型对重要特征的关注度。提出基于自监督的网络模型预训练算法,预训练阶段使用自监督方式,对图像数据进行不同角度旋转且建立相应标签,设计基于图像结构信息的旋转分类器,增加了训练任务中的监督信息,以增强对数据信息进一步挖掘及算法的泛化能力。以目前一些性能最优的小样本算法作为基准性能对比算法,在标准的小样本数据集miniImageNet和Fewshot-CIFAR100上,将文中算法与基准算法进行了充分地实验。实验结果表明:该算法取得了最新最好的性能。

全文