基于大模型知识蒸馏的专利技术功效词自动抽取方法研究：以车联网V2X领域为例

作者：王奎芳; 吕璐成; 孙文君; 王翼虎; 赵亚娟

来源：数据分析与知识发现, 2024, 8(Z1): 144-156.

• 技术功效词抽取
• 知识蒸馏
• 微调大模型
• 语义相似矩阵

【目的】提高专利技术功效词自动化抽取的准确度。【方法】采用ChatGPT作为教师模型，ChatGLM3作为学生模型，通过知识蒸馏，将ChatGPT生成的训练数据用于微调ChatGLM3，得到多个技术词抽取模型和功效词抽取模型。采用多个技术词抽取模型分别从专利的摘要、第一权利要求和技术功效语段中抽取技术词，采用功效词抽取模型从技术功效语段中抽取功效词。【结果】相较于ChatGPT，微调后的多个技术词抽取模型和功效词抽取模型呈现出准确率高、召回率低的特点。基于第一权利要求的ChatGLM3微调模型的准确率和F1值最高，分别为0.734和0.724；功效词抽取模型的准确率为0.649，大于商业工具标注功效词的准确率0.530。【局限】本研究的技术领域和专利语言单一，验证数据量偏小，数据清洗规则不够全面。【结论】本研究方案通过知识蒸馏操作，提升了大语言模型自动抽取技术功效词的准确性。同时，本研究能够支持从专利文本中挖掘前沿创新技术、热点技术，支撑更高质量的智能化专利分析。

• 单位
  中国科学院大学; 中国科学技术信息研究所; 中国科学院文献情报中心