科研之友
微信
新浪微博
Facebook
分享链接
摘要
网络中大部分数据以文本形式存在,亟须在MapReduce环境下布局一种分布式云计算数据挖掘方法,解决大规模文本的分类挖掘问题。此次研究提出一种基于朴素贝叶斯的大规模文本分布式挖掘方法,构建MapReduce分布式云计算数据挖掘处理模型,并采用MapReduce协同作业机制,利用多项式对朴素贝叶斯算法进行改进,构建多项朴素贝叶斯分类器。使用分布式缓存机制减少资源重复申请,节约I/O开销。测试中,该方法后阶段的召回率基本稳定在95%以上,吞吐量为三种方法中最优,获得了良好的文本挖掘效果。
-
单位泉州幼儿师范高等专科学校
