RHS-CNN:一种基于正则化层次Softmax的CNN文本分类模型

作者：王勇; 何养明; 陈荟西; 黎春

来源：重庆理工大学学报：自然科学, 2020, 34(05): 187-195.

• 文本分类
• 正则化
• H-Softmax
• RHS-CNN

传统的卷积神经网络分类模型(CNN)的输出层采用扁平式架构的标准Softmax,在数据量较大、类别较多的文本分类任务中计算复杂度高,训练耗时长;而基于霍夫曼树(Huffman tree)构建的改进算法——层次Softmax(hierarchical softmax,H-Softmax)能极大地提高训练速度,但由于加入了大量的节点参数,使得优化难度增加,优化需要更长的迭代步,且容易过拟合,继而影响模型的拟合速度和分类效果。为此,提出了改进算法模型RHS-CNN(regularization hierarchical softmax CNN),采用正则化的方法,对H-Softmax的节点参数进行约束,避免过拟合,增强模型的泛化能力。实验分析结果表明:所提出的方法在相应评价指标上相对Softmax、H-Softmax有着一定的提升。

• 单位
  重庆理工大学