paper title: FrankMocap:Fast monocular 3D Hand and Body Motion Capture by Regression and Intergretion
paper link:https://arxiv.org/abs/2008.08324
oral or demo video：https://www.youtube.com/watch?v=HXTK5ro9kGc
project: -
github: https://github.com/facebookresearch/frankmocap
conf & anthor: arXiv, Yu Rong(CUHK & FAIR) et al;
arXiv submit v1:2020.08
当前的单目姿态估计方法要么是仅关注身体动作，忽略了手部的动作；要么是仅关注手部的姿态而不考虑身体的姿态。这篇文章提出一个可以在自然环境中同时捕捉身体和手部的3D姿态的系统，称为frankmocap，速度较快，可以达到9.5fps。（在Ubuntu18.04,RTX2080Ti上实测单人bodyMocap约6fps）。
FrankMocap使用两个回归模块从单张RGB图像中分别预测身体和手部的姿态，然后得到的结果有一个整合模块生成全身的3D姿态结果。如下图所示：
1. SMPL-X
SMPL-X模型是SMPL模型的一个扩展，可以通过低维度的pose和shape的组合，得到人体的形状变化和姿态相关的变形表示。相比于SMPL,SMPL-X除了身体之外，还可以通过增加额外的参数，实现手指和表情的表示。
如果SMPL-X的模型为
S
S
S,那么输入姿态相关的参数，可以得到变形的结果：
M
w
=
S
(
ϕ
w
,
θ
w
,
β
w
)
M_{w} = S(\phi_{w},\theta_{w},\beta_{w})
Mw=S(ϕw,θw,βw)
其中：
对于手部模型也是如此：
M
h
=
H
(
ϕ
h
,
θ
h
,
β
h
)
M_{h} = H(\phi_{h},\theta_{h},\beta_{h})
Mh=H(ϕh,θh,βh)
其中
M
h
∈
R
778
X
3
M_{h} \in R^{778X3}
Mh∈R778X3。同样可以使用关节点回归函数得到手指的关节点的3D位置。
J
h
3
D
=
R
h
(
M
h
)
J^{3D}_{h} = R_{h}(M_{h})
Jh3D=Rh(Mh)
其中
J
h
3
D
∈
R
21
X
3
J^{3D}_{h} \in R^{21X3}
Jh3D∈R21X3,包括一个手腕点，15个手指关节点和5个指尖点。手部和身体的采用相同的表示方式，在最后整合输出全身的结果的时候比较方便。
2. 3D手部姿态估计模块
文章使用端到端的网络结构实现手部姿态估计，形式如下：
[
ϕ
h
,
θ
h
,
β
h
,
c
h
]
=
M
H
(
I
H
)
[\phi_{h},\theta_{h},\beta_{h},c_{h}] = M_{H}(I_{H})
[ϕh,θh,βh,ch]=MH(IH)
其中：
手部姿态估计的网络结构与身体的一致，也是采用encoder-decoder 的结构，encoder使用ResNet-50,decoder使用全连接网络。在模型训练的时候，将左手的图像全部镜像为右手后进行训练，测试的时候，对于左右也是先镜像为右手，然后模型推理得到结果，在变换为左手的姿态。
损失函数方面，主要考虑三种：姿态误差，3D位置误差，2D位置误差以及一个正则项，如下：
L
θ
=
∣
∣
θ
h
−
θ
^
h
∣
∣
2
2
L
3
D
=
∣
∣
J
h
3
D
−
J
^
h
3
D
∣
∣
2
2
L
2
D
=
∣
∣
J
h
2
D
−
J
^
h
2
D
∣
∣
L
r
e
g
=
∣
∣
β
h
∣
∣
2
2
L_{\theta} = ||\theta_{h}-\hat{\theta}_{h}||^{2}_{2} \\ L_{3D} = ||J^{3D}_{h}-\hat{J}^{3D}_{h}||^{2}_{2} \\ L_{2D} = ||J^{2D}_{h}-\hat{J}^{2D}_{h}|| \\ L_{reg} = ||\beta_{h}||^{2}_{2}
Lθ=∣∣θh−θ^h∣∣22L3D=∣∣Jh3D−J^h3D∣∣22L2D=∣∣Jh2D−J^h2D∣∣Lreg=∣∣βh∣∣22
其中
θ
^
h
\hat{\theta}_{h}
θ^h,
J
^
h
3
D
\hat{J}^{3D}_{h}
J^h3D和
J
^
h
2
D
\hat{J}^{2D}_{h}
J^h2D分别是姿态角度、3D关节点位置和2D关节点位置的groundtruth。最后loss的形式为：
L
=
λ
1
L
θ
+
λ
2
L
3
D
+
λ
3
L
2
D
+
λ
4
L
r
e
g
L = \lambda_{1}L_{\theta} + \lambda_{2}L_{3D} + \lambda_{3}L_{2D} + \lambda_{4}L_{reg}
L=λ1Lθ+λ2L3D+λ3L2D+λ4Lreg
实验中，权重设置为：
λ
1
=
10
,
λ
2
=
100
,
λ
3
=
10
,
λ
4
=
0.1
\lambda_{1}=10, \lambda_{2}=100, \lambda_{3}=10, \lambda_{4}=0.1
λ1=10,λ2=100,λ3=10,λ4=0.1。
数据的处理部分，文章使用了多个不同数据集的数据，并进行了整合形成统一的格式；同时对数据集的图片做了裁剪、翻转、旋转、色彩变化、运动模糊等增强处理。分别如下。
3. 3D身体姿态估计模块
身体模块的实现与手部模块实现原理上基本一致，形式如下，不再赘述。
[
ϕ
b
,
θ
b
,
β
b
,
c
b
]
=
M
B
(
I
b
)
[\phi_{b},\theta_{b},\beta_{b},c_{b}] = M_{B}(I_{b})
[ϕb,θb,βb,cb]=MB(Ib)
文章中提到当前已有的方法和本文的方法对手腕和手臂的朝向的估计都不太准确，因为手腕只有一个2D点标记，但是这个问题在身体与手的整合模块中得到较好的解决。
4. 全身整合模块
整合模块是将身体模块的手部模块的输出整合为一个全身的表示。整合策略方面主要有两条：(1) 基于“复制-粘贴”式的快速组合；(2)基于额外2D关键点的优化框架，提高输出的准确性。
一些实现细节：
文章与其他方法的对比如下：
部分实测结果：
