2D人体姿态估计 - Convolutional Pose Machines(CPM)

【https://github.com/namedBen/Convolutional-Pose-Machines-Pytorch】

【https://github.com/timctho/convolutional-pose-machines-tensorflow】

【CVPR2016】

 Convolutional Pose Machines（CPM）的主要贡献在于：

a)   用Heatmap来表示关节点的位置及位置约束关系，并且将Heatmap和Feature Map同时作为数据在网络中传递，同时在多个尺度处理输入的特征，充分考虑各个关节点之间的空间位置关系。

b)   多个阶段（Stage）有监督训练，避免过深网络难以优化的问题。

OpenPose是GitHub上最受欢迎的人体姿态估计项目（14.8K Stars, 4.2K Folks），其人体关键点检测正是主要基于Convolutional Pose Machines。

 Pose estimation是一种全卷积网络，输入是一张人体姿势图，输出n张热力图，代表n个关节的响应。

CPM（Convolutional Pose Machines） [5] 利用序列化的卷积神经网络来学习纹理信息和空间信息，实现 2D 人体姿态估计。CPM 通过设计多阶段的网络结构逐渐扩大网络的感受野，获取远距离的结构关系。每一阶段融合空间信息，纹理信息和中心约束来得到更为准确的热图预测。

 Convolutional Pose Machine（CPM）解读

论文阅读理解 - Convolutional Pose Machines

【人体姿态】Convolutional Pose Machines

2D关键点检测之CPM：Convolutional Pose Machines - 知乎 (论文说明最全)

1、思想

本文的特色有三：

• 1.用各部件响应图来表达各部件之间的空间约束。响应图和特征图一起作为数据在网络中传递。
• 2.网络分为多个阶段（stage）。各个阶段都有监督训练，避免过深网络难以优化的问题。
• 3.使用同一个网络，同时在多个尺度处理输入的特征和响应。既能确保精度，又考虑了各个部件之间的远距离关系。

2、算法

流程如下：

•     在每一个尺度下，计算各个部件的响应图
•     对于每个部件，累加所有尺度的响应图，得到总响应图
•     在每个部件的总响应图上，找出相应最大的点，为该部件位置

为了捕捉关节点间 long-range 的相互关系，CPMs 中每个 stage 的网络设计的启发点是：同时在图像和置信图上得到大的接受野(large receptive field).

 

 

 图中(a)和(b)是pose machine中的结构，(c)和(d)是其对应的卷积网络结构，(e)展示了图片在网络中传输的不同阶段的感受野

• 基于每个 scale，计算网络预测的各关节点 heatmap；
• 依次累加每个关节点对应的所有 scales 的 heatmaps；
• 根据累加 heatmaps，如果其最大值大于指定阈值，则该最大值所在位置 (x,y) 即为预测的关节点位置.

3、Stage 1：

对输入图片做处理，其中X代表经典的VGG结构，并且最后采用1×1卷积输出belief map，如果人体有p个关节点，那么belief map有p层，每一层表示一个关节点的heatmap。belief map与label计算该阶段的loss，并存储起来，在网络末尾将每一层的loss加起来作为total loss用于反向传输，实现中间监督，避免梯度消失。

stage t=1 时， CPM 根据图片局部信息(local image evidence)预测关节点. 利用图片局部信息local，是指网络的接受野被约束到输出像素值的局部图片块. 如图：

 输入图片 368×368 ，卷积层不改变 feature maps 的 width 和 height，经三次 pooling 层，输出的 feature maps 大小 46×46，共 P+1 个 feature maps.（P个关节点）

t≥2 时网络的输出是一致的，都是 46×46×(P+1) 的 feature maps.

Stage T：对于Stage 2以后的Stage，其结构都统称为Stage T，其输入为上一个Stage的输出以及对原始图片的特征提取的联合，输出于Stage 1一致

4、Stage t>1

启发点：关节点的置信图(belief maps)，尽管存在 noisy， 但却是包含有用信息的. 如图：

Figure 3. belief maps 的空间信息. 容易检测的关节点可以为难以检测的关节点提供有用信息. (shouler, neck, head) 关节点，对于 (right elbow) 后续 stages 的 belief maps 来说，有助于消除其错误的估计(red)，并提升其正确估计(green).

如果图片中有多个人物，需要对多人进行姿态估计时，在这里还要输入一个center map。center map是一个高斯响应，当图片中有多人时，center map告诉神经网络目前要处理的人的位置，从而自底向上处理多人pose问题。

5、CPM 训练

CPM 每个 stage 都会输出关节点的预测结果，重复地输出每个关节点位置的 belief maps，以渐进精细化的方式估计关节点. 故，在每个 stage 输出后均计算 loss，作为中间监督 loss，避免梯度消失问题.

如：

每个 stage 的 Loss 函数：

MPII 数据增强处理：

• 随机旋转图片 [-40, 40]
• 图片缩放 [0.7, 1.3]
• 水平翻转

6、intermediate supervision 中间监督方法

　　如果直接对整个网络进行梯度下降，输出层的误差经过多层反向传播会大幅减小，而发生梯度消失现象。

　　　　

　　本文为了解决这个问题，提出了中间监督方法，从而保证底层参数的正常更新。

　　　　

　　效果如下图，可以看到，加入中间监督之后，在靠近输入的stage，其梯度比没有中间监督大很多，从而保证学习的效果。

7、感受野
感受野即输出图片一个像素在原始图片上映射的区域大小。CMP采用大卷积核获得大感受野，对于推断被遮挡的关节很有效。可以看到在网络的stage 2 的输出部分，感受野已经扩大到400400的大小。
作者在论文中指出，预测的准确率随着感受野的增大而提高（这里应该指的是在同一个网络中感受野的增大，即在同一次训练过程中感受野的增大），在FLIC数据集中对于手腕关节的预测，当感受野增大到250pixcel时预测的准确率趋于稳定状态，这表明神经网络编码了（encode）身体部件之间的长距离交互。在以上网络结构图最好的输出结果中，将原始图片预处理至368368，stage 2 输出值的感受野相当于原始输入图片的400*400像素，此时感受野可以覆盖图片中身体的任何一个部件。stage越多，感受野也就越大。下面是论文中给出的准确率随感受野上升的曲线图：

8、使用阶段

人物检测
人物检测部分代码与姿态估计类似，只是最后一个stage输出的是一个指示了人物位置的map。
首先将图片resize到固定大小，然后pad（因为网络会将图片downsize所以先pad，这样能得到与原始图片相同大小的输出图片），运行网络，得到定义人物位置的块：

对应人物的位置：

单人姿态估计的话可以省略这一步。

姿态估计
根据上面的center position将每个人物分割开来，使用CPM网络进行预测。输出的图片中，另加一层background channel绘制关节点的位置，如果需要，可以连接关节点。