摘要

AI大模型作为当前最热门的技术领域,得到了广泛的关注。以谷歌的BERT和OpenAI的GPT为代表,模型的参数规模逐步提升至千亿甚至万亿级,训练数据量级也大幅提升,随之带来了模型能力的显著提高,掀起了国内外AI大模型的研究热潮。论述了AI大模型的发展概况,剖析了具有里程碑意义的各类算法模型,介绍了其依赖的核心技术和原理,评估了其存在的挑战和局限,最后讨论了未来AI大模型的发展趋势。

  • 单位
    中国电子科技集团公司第十研究所