大模型的基石——Transformer框架

作者：杨磊

来源：中国信息技术教育, 2023, (07): 86-90.

<正>Transformer的发展历史可以追溯到2017年，谷歌公司的研究人员在发表的论文Attention IsAllYouNeed中首次介绍了Transformer，并将其应用于机器翻译任务。这篇论文引起了广泛关注，因为它不仅在机器翻译任务中表现出色，而且还提供了一种新的思路来处理序列数据。在此之后，许多研究人员开始探索如何改进和扩展Transformer框架。例如，有些人提出了基于Transformer的语言模型，以生成自然语言文本。