大语言模型与多语言智能的研究进展与启示

作者：徐月梅^*; 胡玲; 赵佳艺; 杜宛泽; 王文清

来源：计算机应用, 2023, S2: 1-8.

• 大语言模型
• 多语言智能
• 跨语言模型
• 通用人工智能
• 迁移学习

针对大语言模型（LLM）在高资源语言上表现优异而在低资源语言上表现欠佳的现状，深入分析LLM在多语言场景下的研究现状、技术与局限。首先，从2018年至今以Multi-BERT(multi-lingual Bidirectional Encoder RepresentationsfromTransformers)、GPT(GenerativePre-trainedTransformer)和ChatGPT(ChatGenerativePre-trained Transformer)等语言模型为代表，综述LLM的发展脉络；然后，具体分析了大语言模型在多语言智能上的探索，总结现有LLM在多语言智能的研究局限及其改进方向；最后，探讨LLM未来的多语言智能应用场景。分析指出现有LLM受限于多语言训练语料不均衡，存在语言文化的伦理偏见、语言模型的风格趋同化、多语言能力评估基准缺乏以及多语言场景下的模型幻象输出等问题，未来可采用同一语系家族语言的联合训练、多语言适配器技术、跨语言迁移学习技术、提示语工程技术、基于人工智能反馈的强化学习技术等策略实现多语言智能的LLM。

• 单位
  北京外国语大学; 北京大学