一种基于随机权神经网络的类增量学习与记忆融合方法

作者：李德鹏; 曾志刚^*

来源：自动化学报, 2023, 49(12): 2467-2480.

DOI：10.16383/j.aas.c220312

• 连续学习
• 灾难性遗忘
• 随机权神经网络
• 再可塑性启发

连续学习(Continual learning, CL)多个任务的能力对于通用人工智能的发展至关重要.现有人工神经网络(Artificial neural networks, ANNs)在单一任务上具有出色表现,但在开放环境中依次面对不同任务时非常容易发生灾难性遗忘现象,即联结主义模型在学习新任务时会迅速地忘记旧任务.为了解决这个问题,将随机权神经网络(Random weight neural networks, RWNNs)与生物大脑的相关工作机制联系起来,提出一种新的再可塑性启发的随机化网络(Metaplasticity-inspired randomized network, MRNet)用于类增量学习(Class incremental learning, Class-IL)场景,使得单一模型在不访问旧任务数据的情况下能够从未知的任务序列中学习与记忆融合.首先,以前馈方式构造具有解析解的通用连续学习框架,用于有效兼容新任务中出现的新类别;然后,基于突触可塑性设计具备记忆功能的权值重要性矩阵,自适应地调整网络参数以避免发生遗忘;最后,所提方法的有效性和高效性通过5个评价指标、5个基准任务序列和10个比较方法在类增量学习场景中得到验证.

• 单位
  图像信息处理与智能控制教育部重点实验室; 自动化学院; 华中科技大学