科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种基于提示学习的自监督视觉模型的知识迁移方法,包括：将训练数据集中所有图像输入自监督视觉模型的对比分支中,计算不同类别的类中心向量；从训练数据集中随机抽取一张图像作为查询图像,并将该查询图像输入自监督视觉模型的查询分支中,获得特征向量；计算该查询图像的特征向量与不同类别的类中心向量之间的相似度,预测类别结果；通过多实例-原型对比损失函数遍历训练数据集所有图像计算损失,通过反向传播算法对模型参数微调,将模型中的知识进行迁移并适用于下游任务。本发明使用提示学习重构下游任务,缓解了上下游任务间的目标差异对于预训练模型迁移性能的影响,同时引入更少可学习参数,实现性能和训练成本之间平衡。
- 单位
