图知识蒸馏综述:算法分类与应用分析

作者：刘静; 郑铜亚; 郝沁汾

来源：软件学报, 2024, 35(02): 675-710.

DOI：10.13328/j.cnki.jos.006933

• 图数据
• 图神经网络
• 知识蒸馏

图数据,如引文网络,社交网络和交通网络,广泛地存在现实生活中.图神经网络凭借强大的表现力受到广泛关注,在各种各样的图分析应用中表现卓越.然而,图神经网络的卓越性能得益于标签数据和复杂的网络模型,而标签数据获取困难且计算资源代价高昂.为了解决数据标签的稀疏性和模型计算的高复杂性问题,知识蒸馏被引入到图神经网络中.知识蒸馏是一种利用性能更好的大模型(教师模型)的软标签监督信息来训练构建的小模型(学生模型),以期达到更好的性能和精度.因此,如何面向图数据应用知识蒸馏技术成为重大研究挑战,但目前尚缺乏对于图知识蒸馏研究的综述.旨在对面向图的知识蒸馏进行全面综述,首次系统地梳理现有工作,弥补该领域缺乏综述的空白.具体而言,首先介绍图和知识蒸馏背景知识;然后,全面梳理3类图知识蒸馏方法,面向深度神经网络的图知识蒸馏、面向图神经网络的图知识蒸馏和基于图知识的模型自蒸馏方法,并对每类方法进一步划分为基于输出层、基于中间层和基于构造图知识方法;随后,分析比较各类图知识蒸馏算法的设计思路,结合实验结果总结各类算法的优缺点;此外,还列举图知识蒸馏在计算机视觉、自然语言处理、推荐系统等领域的应用;最后对图知识蒸馏的发展进行总结和展望.还将整理的图知识蒸馏相关文献公开在GitHub平台上,具体参见:https://github.com/liujing1023/Graph-based-Knowledge-Distillation.

• 单位
  浙江大学; 中国科学院计算技术研究所; 中国科学院大学