科研之友
微信
新浪微博
Facebook
分享链接
摘要
用于文本表示的预训练语言模型在各种文本分类任务上实现了较高的准确率，但仍然存在以下问题：一方面，预训练语言模型在计算出所有类别的后验概率后选择后验概率最大的类别作为其最终分类结果，然而在很多场景下，后验概率的质量能比分类结果提供更多的可靠信息；另一方面，预训练语言模型的分类器在为语义相似的文本分配不同标签时会出现性能下降的情况。针对上述两个问题，提出一种后验概率校准结合负例监督的模型PosCalnegative。该模型端到端地在训练过程中动态地对预测概率和经验后验概率之间的差异进行惩罚，并在训练过程中利用带有不同标签的文本来实现对编码器的负例监督，从而为每个类别生成不同的特征向量表示。实验结果表明：PosCal-negative模型在两个中文母婴护理文本分类数据集MATINF-C-AGE和MATINF-C-TOPIC的分类准确率分别达到了91.55%和69.19%，相比ERNIE模型分别提高了1.13个百分点和2.53个百分点。
-
单位四川大学; 四川民族学院
