解读不显著结果:基于500个实证研究的量化分析

作者:王珺; 宋琼雅; 许岳培; 贾彬彬; 陆春雷; 陈曦; 戴紫旭; 黄之玥; 李振江; 林景希; 罗婉莹; 施赛男; 张莹莹; 臧玉峰; 左西年; 胡传鹏
来源:心理科学进展, 2021, 29(03): 381-393.

摘要

不显著结果(如,p>0.05)在心理学研究中十分常见,且容易被误解为接受零假设的证据,并可能导致分组匹配研究的错误推断或者忽视被小样本的不显著结果掩盖的真实效应。但国内目前尚无实证研究对不显著结果的普遍性及其解读进行调查。本研究调查500篇中文心理学实证研究,统计其摘要中出现与不显著结果相关的阴性陈述的频率,判断并统计基于阴性陈述的推断准确性,并使用贝叶斯因子对不显著结果中包含t值的研究进行重新评估。结果表明, 36%的摘要提及不显著结果,共包含236个阴性陈述。其中, 41%的阴性陈述对不显著结果的解读出现偏差(如,解读为支持了零假设)。对包含t值的研究进行贝叶斯因子分析,结果显示仅有5.1%的不显著结果可以提供强证据支持零假设(BF01>10)。与先前对国际心理学期刊的调查结果相比(32%的摘要包含阴性陈述;72%的阴性陈述对不显著结果的解读错误),中文心理学期刊中报告不显著结果的比例更高,且对不显著结果解读错误的比例更低。但国内研究者仍需进一步加强对不显著结果的认识,推广适于评估不显著结果的统计方法。