科研之友
微信
新浪微博
Facebook
分享链接
摘要
面向电力领域指标问答中自然语言理解模型的应用需求，研究平衡性能、计算资源消耗与推理时间的方法。提出了在知识蒸馏的轻量化过程中融入提前停止机制的方法，利用教师模型训练学生模型时，在每层编码加入“耐心早退”机制，使得不同复杂度的样本使用不同层数的编码提取特征，减少了学生模型容易出现的过拟合问题，同时控制了模型的推理时间。在电力领域真实数据构造的数据集上，实验表明学生模型的参数降低至教师模型的60%时，推理时间缩减近50%，而模型准确率仅下降约2%，保持了高可用性，相比基准对比模型在性能和推理时间上获得更好的平衡。
- 单位
