科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明公开了一种预训练模型的推理加速方法,包括以下步骤：S1：在预训练模型的每个中间层之后分别添加一个分类器；S2：根据推理任务将训练集输入预训练模型,通过训练集对预训练模型进行微调训练,获取经训练后的预训练模型；S3：将样本输入预训练模型进行推理,根据设定的信心阈值和耐心值,利用早期退出策略确定是否提前退出推理。本发明通过早期退出的设计,在推理时样例不用经过预训练模型所有的中间层,而是在信心足够的中间层提前退出,从而在保证准确率的情况下达到加速推理的目的；本发明可以通过调整耐心超参数和置信度阈值来动态调整准确性和效率,能够灵活的调整加速率来满足用户对模型推理加速的需求,以适应不同的设备和资源约束。
- 单位
