科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于随机敏感度的知识迁移方法,包括：1)获取数据集和预处理；2)划分数据集得到Z份子数据集；3)用Z份子数据集逐份对选定的神经网络进行训练；利用神经网络和损失函数构建学习模型,在训练过程中加入随机敏感度损失提升学习模型的稳定性和性能,并进行知识迁移,即在训练第l个子数据集时利用知识蒸馏和训练第l-1个子数据集得到的神经网络的权重对当前神经网络进行知识迁移,使其更好的保留前l-1个子数据集的知识；当Z个子数据集训练完成后,神经网络学习不仅到了第Z个子数据集的知识,同时也通过知识迁移保留了前Z-1个子数据集的知识。本发明可以解决在终生学习中大规模新数据持续性被送入神经网络,而旧数据无法保留导致的知识遗忘问题。
- 单位
