基于光滑化L_1正则项的随机配置网络

作者：刘晶晶; 刘业峰; 马祎航; 富月

来源：控制与决策, 2022, 1-6.

DOI：10.13195/j.kzyjc.2022.1612

• 光滑正则化
• 随机配置网络
• 泛化能力
• 交替方向乘子法
• 收敛性分析
• 数据特征

为提高随机配置网络（Stochastic configuration networks,SCN）的泛化能力，提出了一种适用于SCN的光滑化L1正则化方法.针对L1正则化算子局部不可微的缺陷，在曲线不光滑点的邻域内进行光滑处理，并在此基础上构建SCN的光滑误差函数，提出了增量计算权值的算法；进而以交替方向乘子法为基础给出了权值的全局优化算法，并且在理论上分析了算法的收敛性；与L1正则化的稀疏性和L2正则化均匀减小参数的特点相比，所提方法按重要程度保留了数据的全部特征，使参数既保持在较小的范围内又具有层次分明的分布，从而使网络具有更好的泛化能力；最后，通过数值仿真实验验证了所提方法的可行性和有效性.

• 单位
  自动化学院; 东北大学; 流程工业综合自动化国家重点实验室; 沈阳工学院