基于混合式迁移学习的文本分类方法

作者：张合欢; 陈致君; 杨顶

来源：长江信息通信, 2022, 35(05): 54-57.

DOI：10.3969/j.issn.1673-1131.2022.05.018

• 迁移学习
• 预训练模型
• 领域
• 数据分布
• 文本分类

单一的迁移学习存在无法有效的将知识迁移到目标领域的问题，且迁移过程中易出现负迁移现象，在此背景下，提出了基于混合式迁移学习的文本分类方法。该方法首先利用样本之间的距离作为权衡样本相似性的标准进行样本迁移以扩充目标领域样本，然后利用模型迁移建立带有数据分布自适应的文本分类深度网络结构，最后用扩充后的目标领域数据集来训练网络。实验中使用不同的预训练模型来验证方法的有效性，其中，MT2CERNIE的准确率达到0.884、召回率达到0.890、F1分数达到0.878，具有最佳的预测性能。结果表明，所提方法能够在一定程度上解决标注样本不足、出现负迁移现象等问题。