极大熵Relief特征加权

作者：张翔; 邓赵红; 王士同; 蔡及时

来源：Z201106020, 2011, (06): 1038-1048.

• Relief算法
• 特征选择
• 特征加权
• 间距最大化原则
• 极大熵 Relief algorithm
• feature selection
• feature weighting
• margin maximization principle
• maximum entropy

Relief特征加权的最新研究进展表明其可近似地表述为一个间距最大化优化问题.尽管该类算法广为应用,但仍然存在一些缺陷.为了提高Relief特征加权的适应性和鲁棒性,融合间距最大化和极大熵理论,并由此探讨了新的鲁棒的具有更好适应性的Relief特征加新方法.首先,构造了一个结合极大熵原理的间距最大化目标函数.对于该目标函数,运用优化理论得到一些重要的理论结果.在此基础上,对于两类数据、多类数据和在线数据,提出了一组鲁棒的Relief特征加权算法.利用UCI基准数据集和基因数据集进行了实验验证,结果表明提出的新Relief特征加权算法对噪音和例外点显示出了更好的适应性和鲁棒性.

• 单位
  香港理工大学; 江南大学; 浙江大学; 南京大学