ChatGPT可否充当情感专家？ 调查其在情感与隐喻分析的潜力

作者：张亚洲; 王梦遥; 戎璐; 俞洋; 赵东明; 秦璟^*

来源：北京大学学报(自然科学版), 2023, 1-11.

DOI：10.13209/j.0479-8023.2023.075

• ChatGPT
• 情感分析
• 幽默检测
• 隐喻识别

为了探索ChatGPT情感分析能力以及对主观性和隐喻性理解的潜力,本文将ChatGPT在5个情感、幽默与隐喻基准数据集上展开评估,通过与领域内最前沿模型对比,讨论其在不同任务上的优势与局限。此外,还通过对比ChatGPT与人类在情感分析中的性能差别,发现ChatGPT在情感、幽默与隐喻任务上与人类结果相差9.52%、16.64%和6.69%。实验结果表明,尽管ChatGPT在对话生成方面获得最佳表现,但是其在情感理解方面仍具有改进潜力。最后,通过改善提示模板,调查ChatGPT在情感理解场景下对提示模板的敏感性。

• 单位
  中国移动通信集团天津有限公司; 郑州轻工业大学