Paperreading之三Simple Baselines for Human Pose Estimation

2023-10-30

  本次paper是coco2018关键点检测项目的亚军方案,方法非常的简洁明了,但是效果很惊艳,达到了state of the art,paper的标题也是写了simple baseline。整篇paper包含一个sota的姿态估计和姿态跟踪,本篇博客只涉及到paper里面的姿态估计部分。

  1. 前言

人体姿态估计是MSCOCO数据集(http://cocodataset.org/)上面的一项比赛,人体关键点检测,目前主流的做法都是深度学习来做。本文的出发点:

作者认为目前的姿态估计方法都太过于复杂,并且有显著的差异,比如hourglass,open pose,cpn等等,比较这些工作的差异性,更多体现在系统层面而不是信息层面。

作者在本文提出了一个既精确(sota水平),又简单(网络结构非常简单,见下文)的姿态估计方法,作为一个baseline,希望能激发一些新的ideas和简化评估方式。  

2. 网络结构部分

网络结构一句话就可以表达清楚,就是一个普通的backbone(用resnet50就很好)加一些转置卷积层(作为一个head network)。作者认为这可能是得到heatmaps的最简单方式,并且包含了从深到浅的特征。

先看图:

上图c是不是非常简单,论文的整个网络就是这样。三个网络最大的区别就是在head network(头部网络)是如何得到高分辨率的feature map的,前两个方法都是上采样得到heatmap,但是simple baseline的方法是使用deconv ,deconv相当于同时做了卷积和上采样。

看起来似乎是得到高分辨率的feature maps是很重要的,但是你是怎么获取的并不是那么的关键,不同的方法获取的都会有不错的效果。

 

看一下forward函数

就一个resnet50去掉全连接层,加3个deconv layers和一个1*1的卷积就完事了。Deconv layers全部都是一样的kernel=4,channels=256,最后加一个1*1的卷积,输出得到关键点的heatmaps,求一个最大响应值就可以得到最后坐标点了

 

Loss的设计:就是普通L2 loss,只在最后的输出算loss,并没有中继监督。

 

3.Ablation experiments

  

消融实验对比:

作者从heatmaps的尺寸,deconv的卷积核尺寸,backbone结构,输入图像尺寸等4个方面分别作了对比:

结论是:heatmaps尺寸最好是64*48,三层deconv,kernel的size最好是4,backbone是越大越好,图像尺寸越大越好,但是后两者会极大增加计算量和显存。要做好精度和速度的平衡

4. 源码和结果对比

源码是Pytorch版本(https://github.com/Microsoft/human-pose-estimation.pytorch),微软亚洲研究院官方出品,写的很好很通用,值得一读。

下面是各种效果对比图,训练几乎没有任何trick,网络里面也没有任何其他的骚操作,比如各种ohem,ohkm等等,也没有中继监督,相同条件下(主要是输入尺寸和bakcbone)效果都是领先水平。在backbone是resnet152和输入是384*288的条件下,各项指标都是排名第一,都是单模型对比的。

5.结论

论文给出的simple baseline是真的很simple,效果真的好,但是其实没有很特别的创新地方,只是把deconv用在了姿态估计的网络里面。

就像论文里面的第二章节一个标题Pose Estimation Using A Deconvolution Head Network。整个网络就是一个普通backbone+一个使用deconv的head network。

 

参考文献

[1]Simple Baselines for Human Pose Estimation and Tracking(https://arxiv.org/abs/1804.06208)

[2]https://github.com/Microsoft/human-pose-estimation.pytorch

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Paperreading之三Simple Baselines for Human Pose Estimation 的相关文章

  • 人工智能学习:Microsoft COCO数据集读取(7)

    Microsoft COCO xff08 Common Objects in Context xff09 是微软研发维护的一个大型的数据集 包含了30多万张图片和91个目标分类 可用于目标识别 xff08 Object Detection
  • Cityscapes数据集转换成COCO类型和VOC类型

    本来想用本数据集拿来做基线测试 xff0c 突然发现gtFine里面没有适合我小白看的xml或txt 十分痛苦 看了许多帖子 终于找到一位好心博主整理的内容 按照流程应该最后成功了 想必从coco转成其他数据类型 脚本应该很多了 在此附上某
  • [技术分享] 用Python玩转3D人体姿态估计

    转载自3D视觉开发者社区用户 mudi 原文链接 xff1a 技术分享 用Python玩转3D人体姿态估计 如果觉得文章内容不错 xff0c 别忘了三连支持下哦 x1f618 导语 姿态估计 xff0c 一直是近几年的研究热点 它就是根据画
  • 【数据集|COCO】COCO格式数据集制作与数据集参数计算

    文章目录 1 批量修改 JSON 文件中的参数1 1 问题背景1 2 代码实现 2 划分训练集和测试集2 1 问题背景2 2 环境配置2 3 代码实现 3 生成 JSON 标签文件3 1 环境配置3 2 代码实现 4 计算训练集三通道均值4
  • hrformer

    High Resolution Transformer Copyright c 2021 Microsoft Licensed under The MIT License see LICENSE for details Written by
  • windows10下面安装alphapose解决 ImportError : cannot import name ‘deform_conv_cuda‘

    0 环境 conda create n alphapose python 3 6 source activate alphapose conda install pytorch 1 1 0 torchvision 0 3 0 cudatoo
  • 跑一跑NeuralAnnot

    GitHub 传送阵 一 运行 这东西标注器代码西八兄弟没开源 我搞完之后才发现是标注结果展示 1 环境 西八兄弟好像没给环境配置 和环境有关的就这句话 1 python 3 8或以上 不然会报错 2 pycocotools 3 libgl
  • Paperreading之三Simple Baselines for Human Pose Estimation

    本次paper是coco2018关键点检测项目的亚军方案 方法非常的简洁明了 但是效果很惊艳 达到了state of the art paper的标题也是写了simple baseline 整篇paper包含一个sota的姿态估计和姿态跟踪
  • 【论文整理1】On the Continuity of Rotation Representations in Neural Networks

    1 前置知识 1 1 Gram Schmidt正交化 参考阅读 Gram Schmidt过程 看完这篇应该基本能理解 但是他对于公式的讲解有一个地方讲解得不是很清楚 即为什么分母是平方形式呢 1 2 差集 定义 差集是一种集合运算 记A B
  • coco数据集的评价指标

    Average Precision AP IoU 0 50 0 95 area all maxDets 100 0 000 Average Precision AP IoU 0 50 area all maxDets 100 0 000 A
  • 手把手实战教学!语义分割从0到1:一、数据集制作

    本篇博客 是 手把手实战教学 语义分割从0到1 系列的第一篇实战教学 将重点介绍语义分割相关数据集 以及如何制作自己的数据集 本系列总的介绍 以及其他章节的汇总 见 https blog csdn net oYeZhou article d
  • MS coco数据集下载

    登录ms co co数据集官网 一直不能进入 翻墙之后开看到下载链接 有了下载链接下载还是很快的 在我这儿晚上下载 速度能达到7M s 所以也不上传到网盘了 有需要的人等夜深人静的时候下载效果更佳哦 我把2017的数据集下载链接贴上来 li
  • coco数据集

    1 win10安装cocoapi pip install git https github com philferriere cocoapi git subdirectory PythonAPI win10安装cocoapi 君莫笑 CSD
  • 利用MMPose进行姿态估计(训练、测试全流程)

    前言 MMPose是一款基于PyTorch的姿态分析开源工具箱 是OpenMMLab项目成员之一 主要特性 支持多种人体姿态分析相关任务 2D多人姿态估计 2D手部姿态估计 动物关键点检测等等 更高的精度和更快的速度 包括 自顶向下 和 自
  • MS COCO数据集输出数据的结果格式(result format)和如何参加比赛(participate)(来自官网)

    COCO系列文章 MS COCO数据集目标检测评估 Detection Evaluation 来自官网 MS COCO数据集人体关键点评估 Keypoint Evaluation 来自官网 MS COCO数据集输出数据的结果格式 resul
  • 3D 人体姿态估计简述[转]

    转自 3D 人体姿态估计简述 知乎 0 前言 3D Human Pose Estimation 以下简称 3D HPE 的目标是在三维空间中估计人体关键点的位置 3D HPE 的应用非常广泛 包括人机交互 运动分析 康复训练等 它也可以为其
  • Convolutional Pose Machine总结

    Convolutional Pose Machine总结 目录 文章目录 目录 Convolutional Pose Machine简介 算法详细分析 算法流程 训练阶段 使用阶段 创新点 数据集 效果展示 参考资料 博客 github C
  • 无人机姿态融合——EKF

    联系方式 860122112 qq com 一 实验目的 使用惯性测量单元IMU和磁场传感器 磁力计 的信息 通过EKF对四旋翼无人机进行姿态融合 二 实验环境 ROS机器人操作系统 三 实验步骤 1 安装hector quadrotor
  • COCO数据集的使用笔记

    一 简介 官方网站 http cocodataset org 全称 Microsoft Common Objects in Context MS COCO 支持任务 Detection Keypoints Stuff Panoptic Ca
  • 【人体姿态估计2】Real-time Multi-person 2d pose estimation using part affinity fields_2017

    文章目录 1 Introduction 2 Method 2 1 Simultaneous Detection and Association 2 2 Confidence Maps for part detection 2 3 Part

随机推荐

  • ORAN专题系列-0: O-RAN快速索引

    专题一 O RAN的快速概述 ORAN专题系列 1 什么是开放无线接入网O RAN ORAN专题系列 1 什么是开放无线接入网O RAN 文火冰糖的硅基工坊的博客 CSDN博客 什么是oran ORAN专题系列 2 O RAN的系统架构 O
  • C和C++安全编码笔记:动态内存管理

    4 1 C内存管理 C标准内存管理函数 1 malloc size t size 分配size个字节 并返回一个指向分配的内存的指针 分配的内存未被初始化为一个已知值 2 aligned alloc size t alignment siz
  • Spring Aop自定义注解用在Controller层

    前提项目用的框架是SpringMVC 切面类 Aspect Component 把这个注掉是为了不让Spring中扫描 应该让SpringMVC扫描 public class SysLogAop Pointcut annotation co
  • 图像识别毕业设计 opencv实现植物识别算法系统 - python 深度学习

    文章目录 0 前言 2 相关技术 2 1 VGG Net模型 2 2 VGG Net在植物识别的优势 1 卷积核 池化核大小固定 2 特征提取更全面 3 网络训练误差收敛速度较快 3 VGG Net的搭建 3 1 Tornado简介 1 优
  • Maven项目的jdk版本修改

    Maven项目的jdk版本修改 修改的办法有以下三种 一 选择项目 gt 右键 gt build path Configure build path 选择旧的jre 1 5 gt remove删除 gt add Library 添加新的jr
  • Activity 工作流引擎

    Activiti工作流引擎使用详解 http blog csdn net m0 37327416 article details 71743368 Activity用户手册 http www mossle com docs activiti
  • SpringBoot笔记:SpringBoot 集成 Dataway(一)

    文章目录 1 什么是 Dataway 2 主打场景 3 技术架构 4 整合SpringBoot 4 1 maven 依赖 4 2 初始化脚本 4 3 整合 SpringBoot 5 Dataway 接口管理 6 Mybatis 语法支持 7
  • Kafka3.0.0版本——文件清理策略

    目录 一 文件清理策略 1 1 文件清理策略的概述 1 2 文件清理策略的官方文档 1 3 日志超过了设置的时间如何处理 1 3 1 delete日志删除 将过期数据删除 1 3 2 compact日志压缩 一 文件清理策略 1 1 文件清
  • 【Pytorch】利用Pytorch+GRU实现情感分类(附源码)

    在这个实验中 数据的预处理过程以及网络的初始化及模型的训练等过程同前文 利用Pytorch LSTM实现中文新闻分类 具体这里就不再重复解释了 如果有读者在对数据集的预处理过程中有疑问 请参考我的其他博客 里面对这些方法均有我的一些个人体会
  • 稀缺原理

    不管是什么东西 只要你晓得会失去它 自然就会爱上它了 稀缺原理 机会越少见 价值似乎就越高 对失去某种东西的恐惧似乎比对获得同一物品的渴望 更能激发人们的行动力 稀缺原理的力量来源 1 基本可以根据获得一样东西的难易程度 迅速 准确的判断它
  • plsql developer 终极注册码

    product code 4v6hkjs66vc944tp74p3e7t4gs6duq4m4szbf3t38wq2 serial number 1412970386 password xs374ca 手机扫一扫 欢迎关注公众号 关注程序员成
  • python:从键盘输入一个字符,判别它是否大写字母,如果是,将它转换成小写字母;如果不是,则不转换。然后输出最后得到的字符。

    letter str input 请输入一个字母 if letter lt Z 凡是小于大写Z的都要转换成小写 print 转换小写字母为 letter lower lower 方法可以把大写转换成小写 else print 转换大写字母为
  • 网络协程编程

    一 背景 为什么需要网络协程 1 协程 纤程并不是一个新概念2 大并发 高性能对于服务端的高要求3 移动设备的快速增长加大了服务端大并发压力4 Go 语言的兴起将协程带到了一个新的高度支持协程的编程语言 1 Go 语言 非常容易支持大并发
  • Eigen入门之密集矩阵 1 -- 类Matrix介绍

    简介 本篇介绍Eigen中的Matrix类 在Eigen中 矩阵和向量的类型都用Matrix来表示 向量是一种特殊的矩阵 其只有一行或者一列 Matrix构造 在Matrix h中 定义了Matrix类 其中的构造器包括如下的5个 可以看到
  • python爬虫可以做什么呢?

    1 收集数据 Python爬虫程序可用于收集数据 这是最直接和最常用的方法 由于爬虫程序是一个程序 程序运行得非常快 不会因为重复的事情而感到疲倦 因此使用爬虫程序获取大量数据变得非常简单 快速 2 数据储存 Python爬虫可以将从各个网
  • 【防攻世界】misc解题思路-学习笔记

    前言 靶场地址 防攻世界 一 Cat falg 丢进 kali 或者其他Linux系统直接 cat flag 二 MeowMeow可爱的小猫 这道题就很离谱 flag需要用010工具打开 拉到最后就可以看到文字样式 组起来就是 CatCTF
  • 【深度学习】去掉softmax后Transformer会更好吗?复旦&华为诺亚提出SOFT:轻松搞定线性近似...

    作者丨happy 编辑丨极市平台 导读 本文介绍了复旦大学 华为诺亚提出的一种新颖的softmax free的Transformer SOFT 所提SOFT显著改善了现有ViT方案的计算效率 更为关键的是 SOFT的线性复杂度可以允许更长的
  • OPC UA 学习笔记 Event,Condition和Alarm

    告警和事件在自动控制领域十分重要 它是保障系统安全运营的主要措施 OPC UA 设立了专门的一部分来规范告警和条件模型 OPC 10000 9 UA Part 9 Alarms and Conditions 事件 条件和告警是OPCUA 信
  • 编程常用英语词汇(一)

    编程常用英语词汇 一 编程对英语的要求自不必说 这个技能是必须的 在平时开发和学习过程中 就算你不能完全读懂这句话的意思 如果你了解其中某个关键词的意思 也能大概猜到这句话的意思 这样的话也能对你解决问题提供很大的帮助 这就是我为什么要进行
  • Paperreading之三Simple Baselines for Human Pose Estimation

    本次paper是coco2018关键点检测项目的亚军方案 方法非常的简洁明了 但是效果很惊艳 达到了state of the art paper的标题也是写了simple baseline 整篇paper包含一个sota的姿态估计和姿态跟踪