科研之友
微信
新浪微博
Facebook
分享链接
摘要
持续学习旨在连续地学习多个任务，并且在不发生灾难性遗忘的情况下，能够利用先前任务的知识来帮助当前任务的学习。渐进神经网络是一种参数独立的持续学习方法，渐进地为每个任务分配额外的网络来提升持续学习的性能，但是这种方法未能直接利用任务间相似度的影响。而在持续学习过程中，通过对比任务间的相似度，并以此来对先前任务的参数进行修剪再迁移可能会显著提高当前任务的性能。因此，提出了一种任务相似度引导的渐进深度神经网络(Task-Similarity Guided Progressive Deep Neural Network，TSGPNN)及其学习方法，它包括了任务相似度评估和渐进学习两个阶段。其中，任务相似度评估阶段定义了一个参照值来衡量目标任务域之间的相似度，并以此作为任务间知识迁移量的参照；渐进过程通过吸收先前任务中的知识重新学习，以此提升学习新任务的能力。对CIFAR-100、MNIST-Permutation和MNIST-Rotation数据集做了任务切分后，实验表明，TSGPNN的性能与单任务学习、多任务学习和其他基准持续学习方法相比更好、更稳定。
- 单位
