基于Graph Transformer的半监督异配图表示学习模型

作者：黎施彬; 龚俊^*; 汤圣君

来源：计算机应用, 2023, 1-10.

• 图卷积网络
• 异配图
• 图表示学习
• Graph Transformer
• 节点分类

现有的图卷积网络(GCN)模型基于同配性假设，无法直接应用于异配图的表示学习，且许多异配图表示学习的研究工作受到消息传递机制的限制，导致出现节点特征混淆和特征过度挤压而出现过平滑问题。针对这些问题，提出一种基于Graph Transformer的半监督异配图表示学习模型(HPGT)。首先，使用度连接概率矩阵采样节点的路径邻域，再通过自注意力机制自适应地聚合路径上的节点异配连接模式，编码得到节点的结构信息，然后用节点的原始属性信息和结构信息构建Transformer层的自注意力模块；其次，将每个节点自身的隐层表示与其邻域节点的隐层表示分离更新以避免节点通过自注意力模块聚合到过量的自身信息，再把每个节点表示与其邻域表示相连接，得到单个Transformer层的输出，另外，将所有的Transformer层的输出跳连到最终的节点隐层表示以防止中间层信息丢失；最后，使用线性层和Softmax层将节点的隐层表示映射到节点的预测标签。分析实验结果发现，与无结构编码的模型相比，所提结构编码能为Transformer层的自注意力模块提供有效的偏差信息，对模型的性能提升了0.99%～11.98%，与对比模型相比，在强异配数据集（Texas、Cornell、Wisconsin和Actor）上，所提模型的节点分类准确率提升了0.21%～1.69%，在弱异配数据集（Cora、CiteSeer和PubMed）上，节点分类准确率分别达到了0.8379、0.7467和0.8862。实验结果表明，HPGT具有很强的异配图表示学习能力，尤其适用于强异配图节点分类任务。

• 单位
  江西师范大学; 深圳大学