通信垃圾文本识别的半监督学习优化算法

作者：邱宁佳; 沈卓睿; 王辉; 王鹏^*

来源：计算机工程与应用, 2020, 56(17): 121-128.

DOI：10.3778/j.issn.1002-8331.1906-0149

• 非平衡数据
• 垃圾文本识别
• 否定选择密度聚类
• 基于否定选择密度聚类的下采样算法(NSDC-DS)
• 基于主成分分析的随机梯度下降(PCA-SGD)算法

在对非平衡通信文本使用随机下采样来提高分类器性能时,为了解决随机下采样样本发生有偏估计的问题,提出基于否定选择密度聚类的下采样算法(NSDC-DS)。利用否定选择算法的自体异常检测机制改善传统聚类,将样本中心点和待聚类样本分别作为检测器和自体集,对两者进行异常匹配;使用否定选择密度聚类算法对样本相似性进行评估,改进传统的下采样方法,使用NBSVM分类器对采样后的通信样本进行垃圾识别;使用PCA对样本所具有的信息量进行评估,提出改进的PCA-SGD算法对模型参数进行调优,完成通信垃圾文本的半监督识别任务。为了验证改进算法的优越性,使用不平衡通信文本等多个数据集,在否定选择密度聚类、NSDC-DS算法、PCASGD与传统模型上进行对比分析。实验结果表明,改进的模型不仅具有较好的通信垃圾文本识别能力,而且具有较快和稳定的收敛速度。

• 单位
  长春理工大学