科研之友
微信
新浪微博
Facebook
分享链接
摘要
该文提出了一种基于自适应lasso正则化技术的宽度学习系统(Broad learning system,BLS),将原始BLS网络的L2范数惩罚项替换为自适应lasso,选取该正则化技术应用于BLS网络的原因有:优秀的正则化方法在变量选择上应具有连续性,无偏性,稀疏性以及Oracle等性质,而L1范数对权重的参数估计是有偏的,且对所有权重施加一致的惩罚,导致增加网络的预测误差。当BLS网络节点过多时,L2范数则保留了BLS网络中所有节点的信息,无法降低数据维度,不满足变量选择的稀疏性。而自适应lasso则同时满足以上性质,改善了以上正则化技术的缺陷。由于自适应lasso引入自适应权重,相当于对输出权重进行二次惩罚,对于重要的权重施加较小的惩罚,对于作用较小的权重施加较大的惩罚。当BLS网络节点过多时,这种正则化技术不仅在一定程度上精简了BLS的网络结构,而且提高了BLS网络的预测精度,改善了BLS泛化性。本文通过对一些回归数据集进行实验,与原有的几种正则化技术比较,实验表明该方法既能稀疏BLS网络结构,也能提高BLS网络的泛化性能。
- 单位
