科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于预训练语言模型的提示学习小样本分类方法、系统、设备及介质,方法包括下述步骤,根据预先设立的提示模板预处理数据样本；将预处理后的数据样本输入到预训练语言模型中,获取遮蔽处的标签词预测概率,利用所述标签词预测概率计算校准参数；构建分类模型并进行训练,所述分类模型是将传统的微调方法和提示学习结合起来,构建新的模型来充分学习下游任务知识并且利用预训练学习到的知识；训练时使用交叉熵损失函数计算损失值,并利用所述损失值更新分类模型；使用训练好的分类模型对新样本进行分类。本发明通过融合提示学习和传统微调的方法在小样本数据下训练分类模型,有效地学习到了下游任务特定知识并提高了分类精度。
- 单位
