基于原型回放和动态更新的类增量学习方法

作者：张禹; 曹熙卿; 钮赛赛; 许鑫磊; 张倩; 王喆^*

来源：计算机科学, 2023, S2: 26-32.

• 类增量学习
• 原型更新
• 知识蒸馏
• 原型回放
• 灾难性遗忘

灾难性遗忘问题在增量学习场景中普遍存在，而对旧知识的遗忘会严重影响模型在整个任务序列上的平均性能。因此，针对在增量学习过程中原型偏移引起的旧知识遗忘问题，提出了一种基于原型回放和动态更新的类增量学习方法。该方法在原型更新阶段保留新类的原型后，进一步采用动态更新策略对旧类的原型进行实时更新。具体地，在学习新任务后，该策略基于当前可访问数据的已知偏移，来实现在旧类原型中存在的未知偏移的近似估计，并最终完成对旧类原型的更新，从而缓解原始的旧类原型与当前的特征映射间的不匹配。在CIFAR-100和Tiny-ImageNet数据集上的实验结果表明，所提出的基于原型回放和动态更新的类增量学习方法能够有效地减少对旧知识的灾难性遗忘，提高模型在类增量学习场景中的分类性能。

• 单位
  华东理工大学; 上海航天控制技术研究所; 中国航天科技集团公司