科研之友
微信
新浪微博
Facebook
分享链接
摘要
[目的]为了解决有标签样本数量较少的情形下，文本分类任务的模型性能提升问题。[方法]本文通过对数据进行评估，从无标签数据中获取有价值的数据，并在传统蒸馏模型基础上增加了知识回顾机制和助教模型，从而实现全面的知识蒸馏。[结果]在IMDB、AG＿NEWS、Yahoo!Answers数据集的文本分类和情感分析任务上，使用原数据集规模的5%作为有标签数据，准确率表现与使用全部数据训练的传统蒸馏模型分别仅相差1.45%、2.75%、7.28%。[局限]实验仅针对自然语言处理中的文本分类以及情感分析任务。[结论]本文所提方法在少量有标签样本的情形下，实现了较好的蒸馏效果使得模型的性能得到提升。
- 单位
