科研之友
微信
新浪微博
Facebook
分享链接
摘要
极限学习机（ELM）是一种单隐层前向网络的训练算法，随机确定输入层权值和隐含层偏置，通过分析的方法确定输出层的权值，ELM克服了基于梯度的学习算法的很多不足，如局部极小、不合适的学习速率、学习速度慢等，却不可避免地造成了过拟合的隐患且稳定性较差，特别是对于规模较大的数据集。针对上述问题，提出多样性正则化极限学习机（DRELM）的集成方法。首先，从改变隐层节点参数的分布来为每个ELM随机选取输入权重，采用LOO交叉验证方法和MSEPRESS方法来寻找每个基学习器的最优隐节点数，计算并输出最优隐含层输出权重，训练出较好且具有差异性的基学习器。然后，将有关多样性的新惩罚项显式添加到整个目标函数中，迭代更新每个基学习器的隐含层输出权重并输出结果。最后，集成所有基学习器的输出结果对其求平均值，得到整个网络模型最后的输出结果。该方法能够有效地实现多样性正则化极限学习机（RELM）的融合，兼顾准确率和多样性。在10个不同规模的UCI数据集上的实验结果表明所提出的方法是行之有效的。
- 单位
