科研之友
微信
新浪微博
Facebook
分享链接
摘要
朴素贝叶斯由于其简单、高效和有效性成为十大数据挖掘算法之一.然而它要求的属性条件独立假设在实际应用中很难成立.为了削弱其属性条件独立假设,学者们提出了结构扩展、属性选择、属性加权、实例选择、实例加权5类改进方法.现有改进方法虽然在一定程度上降低了模型的偏差,但同时也提高了模型的方差,因而限制了模型的泛化性能.偏差–方差权衡是机器学习的核心原则之一,该原则要求模型具有较低偏差的同时,方差也要尽量低.如何在贝叶斯分类学习中引入偏差–方差权衡,同时获得较低的偏差和方差,从而进一步提升模型的泛化性能,是本文关注的重点.为此,本文首先理论分析了在贝叶斯分类学习中做偏差–方差权衡的可行性,探讨了保证可行性的关键因素;然后通过构建回归任务来学习贝叶斯分类模型的后验概率损失,调控关键因素的变化;最后提出了一种基于偏差–方差权衡的贝叶斯分类学习框架,并在提出的学习框架下重新实现了朴素贝叶斯及其各类改进模型.在大量经典的UCI标准数据集上的实验结果表明,现有的各类先进的贝叶斯分类模型在本文所提学习框架下的分类性能显著优于其原始性能.
