科研之友
微信
新浪微博
Facebook
分享链接
摘要
图卷积网络近年来受到大量关注,同时自注意机制作为Transformer结构及众多预训练模型的核心之一也得到广泛运用。该文从原理上分析发现,自注意机制可视为图卷积网络的一种泛化形式,其以所有输入样本为节点,构建有向全连接图进行卷积,且节点间连边权重可学。在多个文本分类数据集上的对比实验一致显示,使用自注意机制的模型较使用图卷积网络的对照模型分类效果更佳,甚至超过了目前图卷积网络用于文本分类任务的最先进水平,并且随着数据规模的增大,两者分类效果的差距也随之扩大。这些证据表明,自注意力机制更具表达能力,在文本分类任务上能够相对图卷积网络带来分类效果的提升。
- 单位
