基于双向长效注意力特征表达的少样本文本分类模型研究

作者：徐彤彤; 孙华志; 马春梅^*; 姜丽芬; 刘逸琛

来源：数据分析与知识发现, 2020, 4(10): 113-123.

• 少样本文本分类
• 注意力机制
• 少样本学习
• 双向时间卷积网络

【目的】针对当前文本分类任务中存在的训练数据匮乏以及模型泛化性能低等问题,在少样本环境下研究文本分类问题,提出一种少样本文本分类模型。【方法】基于元学习中的分段训练机制将文本分类任务划分为多个子任务;为了捕捉每个子任务中文本的长效上下文信息,提出双向时间卷积网络;为了捕获辨别力更强的特征,联合双向时间卷积网络和注意力机制提出双向长效注意力网络;利用一种新的神经网络模型度量每个子任务中查询样本与支持集的相关性,从而实现少样本文本分类。【结果】在ARSC数据集上进行实验,实验结果表明,在少样本环境下,该模型的分类准确率高达86.80%,比现有先进的少样本文本分类模型ROBUSTTC-FSL和Induction-Network-Routing的准确率分别提高了3.68%和1.17%。【局限】仅针对短文本分类问题,对于篇幅较长的文本,其分类能力有限。【结论】双向长效注意力网络克服了训练数据匮乏问题且充分捕获文本的语义信息,有效提高了少样本文本分类性能。

• 单位
  天津师范大学