科研之友
微信
新浪微博
Facebook
分享链接
摘要
Graphormer是一个强有力的图表示学习模型，其在多个图表示学习任务上取得了显著成果。一个简单的对照实验显示在Graphormer中图的结构信息比自注意力更加重要。基于这个发现，提出了简化Graphormer模型alpha-Graphormer。通过在Graphormer的注意力机制中引入一个缩放因子，使得模型能够对图结构信息和自注意力赋予不同的关注度。在少样本分子属性预测数据集Tox21上的实验表明，提出的alpha-Graphormer在该数据集上获得了1.5%的auroc提升。
-
单位贵州财经大学
