面向语言文学领域的大语言模型性能评测研究

作者：赵雪; 赵志枭; 孙凤兰; 王东波^*

来源：外语电化教学, 2023, (06): 57-114.

DOI：10.20139/j.issn.1001-5795.20230610

• 数字人文
• AIGC
• 大语言模型
• 语言文学

该研究选取16个热门大语言模型，探究其在5个典型语言处理任务上的表现，最后对参测模型进行综合评价。研究发现，闭源大模型GPT-4和GPT-3.5-Turbo综合表现最佳，开源大模型中Baichuan2-7B-Chat表现突出,Qwen-7B-Chat次之,ChatGLM2-6B和ChatGLM-6B合格。模型的领域生成能力差异巨大，该研究旨在为语言文学研究者提供模型的选择建议，促进语言文学研究与人工智能的交叉融合。

• 单位
  北京外国语大学; 南京农业大学