维语网页中n-gram模型结合类不平衡SVM的不良文本过滤方法

作者：如先姑力·阿布都热西提; 亚森·艾则孜^*; 郭文强

来源：计算机应用研究, 2019, 36(11): 3410-3414.

DOI：10.19734/j.issn.1001-3695.2018.07.0410

• 维吾尔语网页
• 不良文本过滤
• n-gram词干提取
• 类不平衡SVM

提出了一种结合n-gram统计模型和类不平衡支持向量机(SVM)分类器的维语文本过滤方法。首先,将网页文本进行预处理操作,通过n-gram统计模型来初步提取词干;然后,对词干进行语义分析,将具有相似含义的词干聚合为一类,以此降低词干维度;最后,在传统SVM中引入一个控制超平面之间距离的参数,构建一种类不平衡SVM,使其能够很好地分类具有非线性不可分和不平衡性的维吾尔语文本。实验结果表明,该方法能够准确分类出不良文本,且具有较短的分类时间。

• 单位
  新疆警察学院; 新疆财经大学