论文阅读--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

2023-11-16

多人姿态估计的挑战:

1.人数、位置和尺寸的大小未知

2.人体之间的相互接触、遮挡造成干扰

3.复杂度随着实时人数的增加而提升

姿态估计方法:

1.top-down approaches(自顶向下)

       借助现有的用于单人姿势判断的技术,先检测人,然后对每一个人进行姿态估计,但是当人离得比较近的时候,检测人体的方法无效;并且人数越多,计算成本越大。

2.bottom-up approaches(自底向上)

    标记出候选的部分检测并且将它们和每个个体关联起来,然后根据部件组队的得分高低判断组合方式,所用到的成对的公式使用线性回归结果不准确,需要额外的逻辑回归方法。且最终的划分需要巨大的全局推算成本。

本文提出:

Part Affinity FieldsPAF是一个2D向量集合,每一个2D向量集合都会编码一个肢体的位置和方向,这些二维矢量场和关节的置信图一起经过CNN进行联合学习和预测。

输入一幅图像,分别使用 CNN提取Part Confidence MapsPart Affinity Fields ,得到这两个信息后,我们使用图论中的Bipartite Matching 将同一个人的关节点连接起来,输出一张2维的带有每个人人体关键点位置的图像。

先进行一个卷积神经网络(利用VGG19的前十层和微调),得到一些特征图F,然后分为两路结构,一路是上面的卷积层,用来获得置信图;一路是下面的卷积层,用来获得PAFs

为了指导网络能够反复的预测第一分支身体部位的置信图和第二分支的PAFs,我们在每个阶段的结尾处均应用了两个损失函数,其中每个分支一个损失函数。最终的目标函数是将各个stageloss求和:

         图像区域中每个点都有一个confidence值,构成confidence map 。如果图像中出现单个人,其相应部分j可见,则每个置信图中应存在单个峰值;如果有多人出现,应该有一个与每个人k及它的可见部分j对应的峰值。每点的值与真值位置的距离有关,离得越近confidence 越高。

         如用高斯分布来描述,confidence峰值就是真值位置。在test阶段,在预测的confidence maps上进行非极大值抑制来获得身体部位候选者(body part candidates

PAF是每个肢体的2D矢量场:对于属于特定肢体的区域中的每个像素,2D矢量编码从肢体的一部分指向另一部分的方向。 每种类型的肢体都有一个对应的亲和区域(affinity field ),用于连接两个相关的身体部位。

         在测试期间,我们通过计算相应PAFs上的线积分,沿着连接候选部分位置的线段,来测量候选部分检测之间的关联。

我们使用PAF上的线积分计算来对每个候选肢体来进行评分。当需要寻找多人的全身姿势时,寻找最佳解析的问题对应于已知为NP-HardK维匹配问题。增加两个松弛( relaxation ):首先,我们选择一个最小边数来获得人体姿态的生成树骨架,而不是使用完整的图形,如图6c所示。 其次,我们进一步将匹配问题分解为一组偶匹配子问题,并分别确定相邻树节点的匹配(图6d)。

          二分图中的匹配是以这样的方式选择的边的子集,即没有两个边共享节点。 我们的目标是找到所选边的最大权重的匹配,我们可以用 Hungarian 算法来获得最优匹配。

在两个数据集上进行测试:

1MPII human 多人数据集                                                      (2COCO 2016关键点挑战数据集

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

论文阅读--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields 的相关文章

随机推荐

  • 电赛分几种_参加电赛需要具备哪些知识呢?

    本文转载自 微信公众号 47竞赛 ID gh 1814a7d91c55 经微信公众号授权转载 如需转载与原文作者联系 电赛需要准备哪些知识呢 先分析一下电赛的题目 你会发现 题目主要分为控制类 仪器仪表类 信号源类 电源类 放大器类 高频通
  • QT 布局,控件自适应大小 自动缩放 自动布局

    目录 前言 1 先来说简单的布局控件自适应 说明我们实现了自动布局 3 通过代码设置控件自动缩放重写resizeEvent 4 源码 https upload csdn net creation uploadResources 866208
  • 第1章 用物理模型进行高效的水模拟

    一 用物理模型进行高效的水模拟 一句话概括 基本网格的几何波动 动态法线贴图 1 1现状 1 快速傅里叶FFT在大中尺寸栅格取得逼真效果 并能适用于顶点shader和像素shader 2 能基于体素 Voxel 对简化的Navier Sto
  • 在培训班里学IT技术是否有用?和大家分享相关IT培训班里五大常见宣传手法、相关优势与实际效果

    目录 Introduction 引言 IT培训班常见宣传手法 培训班的优势 如何评判IT培训班的效果与质量 除IT培训班之外的学习渠道 总结 其它资料下载 Introduction 引言 随着信息技术的飞速发展 学习IT技术成为许多人追求职
  • win10搜索大文件

    直接在资源管理器的搜索框中敲 size gt 1G win 10计算机查找大文件 教你如何在Win10系统中查找大文件
  • WIN+R 实用大总结

    文章目录 cmd 与管理员cmd 打开网络共享中心 ncpa cpl 打开画画 mspaint 打开系统配置 msconfig 打开设备管理器 devmgmt msc 打开远程桌面连接 mstsc 任务管理器 taskmgr 系统属性 sy
  • Win10+vs2017 webrtc下载和编译

    现在使用webrtc的小伙伴越来越多 我也来凑凑热闹 第一步自然是下载源码 其实官网上面写的还是蛮详细的 只是环境搭建稍稍复杂了点 再加上国内不能访问google 所以简单的事情就变得复杂起来 我就按照官网上面的流程给大家简单介绍下 具体细
  • Flink Web UI 介绍

    一 提交flink任务到yarn flink run m yarn cluster yn 1 p 2 yjm 1024 ytm 1024 ynm FlinkOnYarnSession MemberLogInfoProducer d c co
  • 金蝶生成凭证模板_金蝶精斗云产品的优势

    1 金蝶精斗云产品免维护安装 产品免安装 免维护 免年结 自动升级 账号式授权加密 自动备份 会计归档 不需要固定的服务器 e64845f06572190e4634c2be37ab9ee9 png 2 金蝶精斗云系统凭证便捷生成 图片 PD
  • 反接保护电路:

    反接保护电路 通常我们的电子产品 为防止用户将正负极接反 会对接口做防反接保护 比如接口做成梯形或者开个缺口 反了不容易插进 但你真的永远不知道你的产品用户是萌妹纸还是暴力怪蜀黍 最终 这些防接反设计还是被突破了 被暴力插了进去 插进去了
  • uboot联网以及uboot重启问题

    一 配置uboot联网 虚拟机联网 配置uboot联网 1 配置uboot环境变量 setenv ipaddr 192 168 10 50 开发板ip地址 setenv ethaddr 00 04 9f 04 d2 35 mcu期间地址 多
  • ESP8266 CUT HERE FOR EXCEPTION DECODER解决办法

    串口log信息 CUT HERE FOR EXCEPTION DECODER Soft WDT reset gt gt gt stack gt gt gt ctx cont sp 3ffffd40 end 3fffffc0 offset 0
  • java使用多线程同时插入数据库数据例子

    今天自己在家准备面试内容 写了个java使用多线程往mysql数据库插入数据的例子 总结 不管数据库引擎是MYISAM还是InnoDB 情况都是 没有线程池的情况下就不说了 一直创建数据库连接一会就出错了 基本对于上万条的数据插入不可用 使
  • vue2的响应式

    结合源码分析一下vue的响应式 之前对于响应式 只是简单 很表面上的认识 知道vue的响应式主要通过Object defineProperty 方法来进行数据劫持以及发布者 订阅模式来实现的 但是如何进行数据劫持呢 发布订阅者模式又是什么呢
  • 安装pygame

    在学习了一个学期的python之后 我决定对pygame下手了 首先要安装pygame 对于一个计算机小白 安装的过程就比较的痛苦 但是怎么说 查阅了各方资料 好歹是安装完毕 预备条件 win10 python3 9 7 打开cmd win
  • 【vue2】按需引入多个组件的写法

    可以使用component标签 is 组件名 dialogTitle dialogTitle 和 rowInfo offlineRow 就是父给子传值的写法
  • 汽车雷达-综述

    目录 1 简介 2 发展史 3 技术参数 4 采用SIGe毫米波T R组件 5 汽车雷达中主要的信号处理单元 5 1 远程雷达 5 1 1 总体框图 5 1 2 FFT 5 1 3 DOA估计 5 1 3 1 和差测角 5 1 3 2 顺序
  • 多种排序算法(插入、二分法【查找、排序】、选择、冒泡、快速、希尔)

    多种排序算法 插入 二分法 查找 排序 选择 冒泡 快速 希尔 插入排序 function insertSort arr var len arr length for var i 1 i lt len i var key arr i var
  • 用户行为预测论文summay

    用户行为预测论文summary 1 论文名称 Modelingand Predicting Behavioral Dynamics on the Web 2 论文作者 KiraRadinskyz Krysta Svorey 3 主要内容 本
  • 论文阅读--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

    多人姿态估计的挑战 1 人数 位置和尺寸的大小未知 2 人体之间的相互接触 遮挡造成干扰 3 复杂度随着实时人数的增加而提升 姿态估计方法 1 top down approaches 自顶向下 借助现有的用于单人姿势判断的技术 先检测人 然