基于知识迁移和蒸馏的轻量级领域信息表示模型研究

作者：徐欢; 王尧^*; 萧展辉; 沈宇红

来源：电力大数据, 2022, 25(09): 37-44.

DOI：10.19317/j.cnki.1008-083x.2022.09.004

• 知识迁移
• 模型蒸馏
• 领域信息检索模型
• 数字化转型

数据精细化处理是电网企业在进行数字化转型过程中的重大难题。由于电网企业的封闭性特点，数据精细化处理过程中专业语言与知识难以与外界通用的知识进行融会贯通。为解决上述问题，本文在teacher-student框架基础上结合fine-tuning技术设计了一种有效的信息表示模型——基于知识迁移与蒸馏的轻量级领域信息表示模型。该模型将通用知识框架作为基座，将专业知识与通用知识提炼成一个统一的向量空间。本文设计的模型比通用大模型更快、更轻量、更有效，仅需对百级别的专业小样本进行增量学习，便可将通用知识与专业知识进行了高效地融合。为了验证该模型的有效性，我们在文本相似度计算任务上进行了实验，实验结果表明技术指标NDCG@5提升5.76%。此外，该模型有效地降低了资源消耗，提升了搜索效率。