基于ALBERT动态词向量的垃圾邮件过滤模型

作者：周枝凝; 王斌君^*; 翟一鸣; 仝鑫

来源：信息网络安全, 2020, 20(09): 107-111.

• 中文垃圾邮件
• 循环神经网络
• ALBERT模型
• 动态词向量

针对垃圾邮件分类问题中词向量学习不充分的问题,文章引入ALBERT动态词向量生成模型,并提出一种将ALBERT动态词向量与循环神经网络相结合的ALBERT-RNN模型。利用公开的垃圾邮件数据集(TEC06C),对传统统计学模型与4种不同RNN结构的ALBERT-RNN模型进行了对比实验,并用Focal Loss方法对交叉熵损失函数进行了优化。实验结果表明,使用Focal Loss优化的ALBERT-LSTM模型在TEC06C数据集上达到了较高的准确率(99.13%)。

• 单位
  中国人民公安大学