一种基于词嵌入模型和卷积神经网络的简化文本分类方法

作者：华帅; 钟世立; 李鑫鑫; 陈彩凤

来源：东莞理工学院学报, 2022, 29(05): 69-78.

DOI：10.16002/j.cnki.10090312.2022.05.015

• 词嵌入
• 预训练语言模型
• 情感分析
• 神经语言模型
• 文本分类

自然语言处理（Natural Language Processing,NLP）可分为自然语言理解（Natural Language Understanding,NLU）和自然语言生成（Natural Language Generation,NLG）两大类子任务。预训练语言模型和神经语言模型在自然语言理解的整个流程中占据重要地位。本文梳理了文本预训练语言模型的发展流程，并分析当下主流的预训练语言模型以及深度学习模型的不足，基于经典预训练语言模型（Word2Vec）和卷积神经网络分类模型（CNN），提出一种简化的文本分类模型（Simplified CNN），在多个情感分析（Sentiment Analysis,SA）基准数据集上进行实验测试，实验结果表明，在文本分类任务上，简单网络可以得到与复杂网络相媲美的分类效果并且运行时间优于复杂网络，与传统的分类模型相比较，在分类效果上表现出了优势。

• 单位
  东莞理工学院