基于袋外预测和扩展空间的随机森林改进算法

作者：常硕; 张彦春

来源：计算机工程, 2022, 48(03): 1-9.

DOI：10.19678/j.issn.1000-3428.0063249

• 随机森林
• 袋外预测
• 扩展空间
• 相关性
• 决策树

随机森林在bootstrap的基础上通过对特征进行抽样构建决策树，以牺牲决策树准确性的方式来降低决策树间的相关性，从而提高预测的准确性。但在数据规模较大时，决策树间的相关性仍然较高，导致随机森林的性能表现不佳。为解决该问题，提出一种基于袋外预测的改进算法，通过提高决策树的准确性来提升随机森林的预测性能。将随机森林的袋外预测与原特征相结合并重新训练随机森林，以有效降低决策树的VC-dimension、经验风险、泛化风险并提高其准确性，最终提升随机森林的预测性能。然而，决策树准确性的提高会使决策树间的预测趋于相近，提升了决策树间的相关性从而影响随机森林最终的预测表现，为此，通过扩展空间算法为不同决策树生成不同的特征，从而降低决策树间的相关性而不显著降低决策树的准确性。实验结果表明，该算法在32个数据集上的平均准确率相对原始随机森林提高1.7%，在校正的paired t-test上，该方法在其中19个数据集上的预测性能显著优于原始随机森林。

• 单位
  复旦大学; 广州大学