科研之友
微信
新浪微博
Facebook
分享链接
摘要
评测数据集是评测任务的载体，评测数据集的质量对评测任务的开展和评测指标的应用有着根本性的影响，因此对评测数据集的质量进行评估有着必要性和迫切性。该文在调研公开使用的自然语言处理主流数据集基础上，分析和总结了数据集中存在的8类问题，并在参考人类考试及试卷质量评估的基础上，从信度、效度和难度出发，提出了数据集评估的相关指标和将计算性与操作性相结合的评估方法，旨在为自然语言处理评测数据集构造、选择和使用提供参考依据。
-
单位北京大学; 中国标准化研究院
