科研之友
微信
新浪微博
Facebook
分享链接
摘要
平均准确度AP是计算机视觉领域物体检测算法的重要性能评价指标,长期用于相关学术研究成果的定量比较.我们在实践中发现AP指标存在缺陷不能准确反映物体检测算法的数量准确性.我们具体分析了AP存在缺陷的两种表现,首先是AP定义和计算方法允许虚警出现时召回率不变,出现一个召回率对应多个准确度的情况, AP值计算仅和该召回率对应的最大准确度有关,使得准确度降低的虚警检测被AP忽略或者称为被AP隐藏.其次,我们发现在高召回率区域, AP对于准确度的增量和对于召回率的增量偏好不同,且偏向于召回率增加,这意味着检测算法增加虚警对增加AP值更有益. AP值评价指标的缺陷有很大的危害,首先导致该领域研究存在人为反复调整阈值从而获得高AP值的可能,其次能够增强物体检测数量准确性的研究方法被长期抑制,阻碍了该领域的创新发展,最后导致追求高AP值的学术研究与追求数量准确性的实际应用严重分离,很多学术成果在实际运用中无法达到应用的要求.基于上述分析,我们呼吁对AP指标进行批判式的改进,以弥合学术研究和实际需求的鸿沟,促进技术创新和产业运用良性互动.
- 单位
