科研之友
微信
新浪微博
Facebook
分享链接
摘要
文档分类的一项基本工作是研究如何高效地表示输入特征，句子和文档向量表示也可以辅助自然语言处理的下游任务，如文本情感分析和数据泄露预防等。特征表示也逐渐成为文档分类问题的性能瓶颈和模型可解释性的关键之一。针对现有分层模型面临的大量重复计算以及可解释性缺乏的问题，提出了一种分层文档分类模型，并研究了句子和文档表示方法对文档分类问题的性能影响。所提模型集成了使用改进自注意力机制融合输入特征向量的句子编码器和文档编码器，形成了一个层次结构，以实现对文档级数据的分层处理，在简化计算的同时增强了模型的可解释性。与仅使用预训练语言模型的特殊标记向量作为句子表示的模型相比，所提模型在5个公开文档分类数据集上实现了平均4%的性能提升，比使用词向量矩阵的注意力输出均值的模型提高了2%。
-
单位中国科学院大学; 中国科学院成都计算机应用研究所
