基于多头协同注意力机制的客户投诉文本分类模型

作者：王金政; 杨颖; 余本功

来源：数据分析与知识发现, 2022, 1-14.

• 文本分类
• 多头协同注意力机制
• 客户投诉

[目的]为解决客户投诉文本处理中的传统多通道文本分类模型对特征间关系学习不足的问题。 [方法]构建一个基于多头协同注意力机制的客户投诉文本分类模型。首先利用BERT预训练模型实现文本向量化表示，然后构建Text-CNN和BiLSTM多通道特征提取网络，分别提取投诉文本局部与全局特征，最后提出一种协同注意力机制学习局部特征与全局特征间关系，实现客户投诉文本的准确分类。 [结果]实验结果表明，该方法在公开数据集THUCNews上的准确率达到了97.25%，在企业提供的电信客户投诉数据集上的准确率达到86.20%。相比于单通道模型和没有进行特征间交互的多通道模型，本文所提模型在电信客户投诉数据集上的准确率分别提升了1.78%和0.35%，验证了本文模型在客户投诉文本分类方面的有效性。 [局限]仅考虑了两个特征间的交互关系，而且在小规模电信客户投诉文本数据集上，部分投诉类别分类效果较一般。 [结论]多通道特征提取网络能够丰富文本信息，充分提取文本特征，协同注意力机制能够有效学习文本特征间关系，提升模型分类效果，更精准地实现客户投诉文本分类。

• 单位
  合肥工业大学