基于深度学习的Attention机制文献综述

作者：刘达山; 刘潞琦; 张光驰; 薛川奇

来源：信息技术与信息化, 2023, (01): 189-194.

• 深度学习
• NLP
• Attention
• 神经网络
• 自然语言处理

主要对机器学习中深度学习内应用较广、效果较好的一种Attention注意力机制的相关知识进行了总结。首先从背景、原理、分类、比较、应用场景等方面入手，参考了多篇文献；背景方面，介绍了深度学习、自然语言处理（natural language processing,NLP）的相关技术的研究现状，并明确了Attention在其中的定位；原理方面，由于self-attention的优越性和广泛应用，主要对self-attention进行了阐述；最后对不同的Attention类别进行了整理，依据不同的分类标准，划分了6大类别，并分别对其进行介绍。此外，将经典的卷积神经网络（convolutional neural network,CNN）、循环神经网络（recurrent neural network,RNN）与Attention机制进行对比，进一步明确了Attention在当前的深度学习中的地位，最后对应用场景进行了简要的介绍。

• 单位
  北京航空航天大学; 电子科技大学