COCO物体检测评测方法简介

2023-05-16

本文从ap计算到map计算,最后到coco[0.5:0.95:0.05] map的计算,一步一步拆解物体检测指标map的计算方式。

一、ap计算方法

一个数据集有多个类别,对于该数据库有5个gt,算法检测出来10个bbox,对于人这个类别来说检测有下面结果,IoU>0.5时为GT与bbox之间是匹配关系。

GT-boxesBBconfidenceIoU>0.5TPFPprecisionrecall
GT1BB10.91101.000.14
GT2BB20.91101.000.29
GT1BB30.81010.670.29
BB40.70010.500.29
BB50.70010.400.29
GT3BB60.71100.500.43
BB70.70010.430.43
BB80.70010.380.43
GT4BB90.71100.440.57
GT5BB100.71100.500.71

根据上述结果可以计算出如下结果,要注意的是BB1\BB3都与GT1匹配,所以BB3计算的时候是false positive。

那么就可以得到两个数组(为了符合0-1,在原始的数组两边加入了两个值):

P r e c i s i o n = [ 0 ] + [ 1 , 1 , 0.67 , 0.50 , 0.40 , 0.50 , 0.43 , 0.38 , 0.44 , 0.50 ] + [ 0 ] Precision = [0] + [1, 1, 0.67, 0.50, 0.40, 0.50, 0.43, 0.38, 0.44, 0.50] + [0] Precision=[0]+[1,1,0.67,0.50,0.40,0.50,0.43,0.38,0.44,0.50]+[0]

R e c a l l = [ 0 ] + [ 0.14 , 0.29 , 0.29 , 0.29 , 0.29 , 0.43 , 0.43 , 0.43 , 0.57 , 0.71 ] + [ 1 ] Recall = [0] + [0.14, 0.29, 0.29, 0.29, 0.29, 0.43, 0.43, 0.43, 0.57, 0.71] + [1] Recall=[0]+[0.14,0.29,0.29,0.29,0.29,0.43,0.43,0.43,0.57,0.71]+[1]

对Precision进行平滑后得到:

P r e c i s i o n = [ 1. , 1. , 1. , 0.67 , 0.5 , 0.5 , 0.5 , 0.5 , 0.5 , 0.5 , 0.5 , 0. ] Precision = [1., 1., 1., 0.67, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.5, 0.] Precision=[1.,1.,1.,0.67,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.]

通过平滑后的数据可以画出下面曲线图:

在这里插入图片描述

对于上述PR值,如果我们采用:

  1. VOC2010之前的方法,我们选取Recall >= 0, 0.1, …, 1的11处Percision的最大值:1, 1, 1, 0.5, 0.5, 0.5, 0.5, 0.5, 0, 0, 0。此时人类别的 AP = 5.5 / 11 = 0.5
  2. VOC2010及以后的方法,对于Recall >= 0, 0.14, 0.29, 0.43, 0.57, 0.71, 1,我们选取此时Percision的最大值:1, 1, 1, 0.5, 0.5, 0.5, 0。此时人类别的$ AP = (0.14-0)*1 + (0.29-0.14)*1 + (0.43-0.29)*0.5 + (0.57-0.43)*0.5 + (0.71-0.57)*0.5 + (1-0.71)*0 = 0.5$

由于上面例子图不是很一般,下面根据知乎的图来描述关于积分的计算:

在得到P和R后,可以画出PR曲线如下所示:

在这里插入图片描述

对PR曲线进行平滑处理,即对PR曲线上的每点Precision值都取右侧最大值,平滑操作如下:

在这里插入图片描述

得到平滑后的曲线后,VOC2010年之前的方法是采样11个点,来计算AP
在这里插入图片描述

VOC2010之后改用求Area under curve方式,即曲线的积分来得到AP

在这里插入图片描述

二、map的计算

得到一类的ap后,多个类别求平均即为map

三、coco[0.5:0.95:0.05] map的计算

每个IoU在多类别上都可以得到map,多个IoU的平均就是coco[0.5:0.95:0.05] map的指标。个人认为应该称为mmap会形象一点。

参考文献:

  1. https://www.zhihu.com/question/53405779/answer/419532990 (上述例子来源,但是有所修改,因为他的例子有点问题)
  2. https://zhuanlan.zhihu.com/p/88896868 (上述的图片来源)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

COCO物体检测评测方法简介 的相关文章

随机推荐

  • Virtualbox主机和虚拟机之间文件夹共享及双向拷贝(win7——centos7)

    一 双向拷贝 xff1a 然后 xff0c 还需要通过virtualbox上安装一个增强的工具 此时 xff0c 会在centos上安装一些工具 xff1a 鼠标自动在宿主机 虚拟机之间移出 同时 xff0c 在centos上会出现一个安装
  • Record something about DL

    这篇文章算是DL实践杂谈吧 xff0c 主要是想把自己模型调优和复现算法遇到的一些坑总结一下 xff08 里面的一行字可能是我当时花费了一周甚至更长时间得到的总结 xff09 xff0c 希望能对读者有所帮助 一 熟悉数据 模型是数据的浓缩
  • Image captioning任务常用的评价指标计算

    BLEU ACL 2002Meteor AMTA 2004ROUGE L ACL 2004CIDEr CVPR 2015SPICE ECCV 2016
  • Image captioning评价方法之BLEU (bilingual evaluation understudy)

    文章地址 xff1a BLEU a Method for Automatic Evaluation of Machine Translation 代码地址 非官方 xff1a https github com tylin coco capt
  • Image captioning评价方法之Meteor

    项目地址 xff1a http www cs cmu edu alavie METEOR 代码地址 xff08 非官方实现 xff0c 实现的是项目地址中的1 5版本 xff09 xff1a https github com tylin c
  • Image captioning评价方法之ROUGE-L

    文章地址 xff1a ROUGE A Package for Automatic Evaluation of Summaries 代码地址 非官方 xff1a https github com tylin coco caption 文章由U
  • Image captioning评价方法之CIDEr

    文章地址 xff1a CIDEr Consensus based Image Description Evaluation 代码地址 xff08 非官方 xff0c 且代码实现的是CIDEr D xff09 xff1a https gith
  • Image captioning评价方法之SPICE

    项目地址 xff1a https panderson me spice 上述的项目地址包含了论文地址和代码地址 该方法是由The Australian National University和Macquarie University联合发表
  • R3DS Wrap基本使用方法

    中文的R3DS Wrap软件的教程较少 xff0c 最近刚好实操了一遍 xff0c 特此记录下来 为了描述方便 xff0c 下面将R3DS Wrap简称Wrap 软件官网 xff1a https www russian3dscanner c
  • docker使用入门简介

    一 什么是docker xff1f https www docker com resources what container 使用docker时有两个重要概念 xff0c 一个是镜像 xff08 images xff09 xff0c 一个
  • SpringBoot整合Quartz 实现分布式定时任务调度

    一 Quartz 集群架构 Quartz 是 Java 领域最著名的开源任务调度工具 在上篇文章中 xff0c 我们详细的介绍了 Quartz 的单体应用实践 xff0c 如果只在单体环境中应用 xff0c Quartz 未必是最好的选择
  • 《Attention Is All You Need》算法详解

    该篇文章右谷歌大脑团队在17年提出 xff0c 目的是解决对于NLP中使用RNN不能并行计算 xff08 详情参考 译 理解LSTM xff08 通俗易懂版 xff09 xff09 xff0c 从而导致算法效率低的问题 该篇文章中的模型就是
  • 主流的视频动作类算法任务介绍

    动作识别 action recognition xff1a 是对每个输入视频进行分类 xff0c 识别出视频中人物做出的动作 即输入视频序列 xff0c 得到视频对应的类别 时序动作检测 temporal action detection
  • 视频时序动作识别(video action recognition)介绍

    一 视频时序动作识别算法分类 根据网络的工作方式 xff0c 可以将视频时序动作识别算法大致分为四大类 xff1a 采用2D卷积的方法采用3D卷积的方法双流法引入VLAD的方法 1 1 采用2D卷积的方法 TSM Temporal Shif
  • 视频时序动作检测(temporal action detection)介绍

    一 视频时序动作检测算法 本文中动作检测算法也包含了时序动作提名 xff08 Temporal Action Proposal Generation xff09 时序动作提名与检测的类别不一样的地方是 xff0c 检测一般指定位出动作的边界
  • 《Channel-wise Knowledge Distillation for Dense Prediction》论文详解

    原文地址 xff1a Channel wise Knowledge Distillation for Dense Prediction 代码地址 xff1a https git io Distille xff08 由原文提供 xff0c 好
  • 时序动作分割(temporal action segmentation)任务介绍

    时序动作分割任务 输入是一个未经裁剪的视频 xff0c 输出是视频中每一帧的动作类别 所以该任务可以理解为对每一帧视频进行打标签处理 xff08 类同于图片分割是给每个像素打标签 xff09 一 算法介绍 MS TCN MS TCN 43
  • 时空动作检测 (spatio-temporal action detection)

    时空动作检测 spatio temporal action detection xff1a 输入一段视频 xff0c 不仅需要识别视频中动作出现的区间和对应的类别 xff0c 还要在空间范围内用一个包围框 bounding box 标记出人
  • ActionVLAD算法详解

    文章地址 xff1a https rohitgirdhar github io ActionVLAD 代码地址 xff1a https github com rohitgirdhar ActionVLAD 该文章由CMU Adobe 法国国
  • COCO物体检测评测方法简介

    本文从ap计算到map计算 xff0c 最后到coco 0 5 0 95 0 05 map的计算 xff0c 一步一步拆解物体检测指标map的计算方式 一 ap计算方法 一个数据集有多个类别 xff0c 对于该数据库有5个gt xff0c