近年来,Transformer已经成为自然语言处理之中一个新兴的热门研究领域,越来越多的研究人员加入这项技术研究中,提出了很多具有一定突破的方法。将对相关技术进行总结,介绍原理和特征提取方法,此外,针对新兴研究方向进行介绍和展望。