科研之友
微信
新浪微博
Facebook
分享链接
摘要
注意力机制已成为改进神经网络学习能力的研究热点之一。鉴于注意力机制受到的广泛关注，本文旨在从注意力机制的分类、与深度神经网络的结合方式，以及在自然语言处理和计算机视觉领域的具体应用3个方面对深度神经网络中的注意力机制给出较全面的分析和阐述。具体地，分析比较了软注意力、硬注意力和自注意力这3种机制的优缺点；并分别讨论了递归神经网络和卷积神经网络中结合注意力机制的常用方式及其代表性模型结构；然后，以自然语言处理、计算机视觉领域为例，说明了其应用情况；最后，分析了注意力机制的发展趋势，期望为后续研究提供线索和方向。
-
单位河海大学; 电气学院
