近似多元信息多样性

作者：孙涛; 周志华^*

来源：计算机科学与探索, 2020, 13(04): 639-646.

• 机器学习
• 集成多样性
• 信息论
• 联结树

集成多样性,即个体学习器之间的差异性,是集成学习中的一个基础问题。多元信息多样性(multiinformation diversity)基于信息论来刻画集成多样性,为理解集成多样性提供了一个可行方向,其在实际应用中面临的困难是高阶信息通常难以估计。提出基于一种特殊的k阶t-cherry联结树对高阶信息做低阶近似,从而得到多元信息多样性的近似估计。方法包括基于联结树直接近似估计多元信息和近似估计多元信息分量,并对两者的相关性进行了分析。实验结果表明,在同阶近似下,该估计方法优于现有近似估计方法。

• 单位
  计算机软件新技术国家重点实验室; 南京大学