原文：Semantic Graph Convolutional Networks for 3D Human Pose Regression
收录：CVPR2019
代码：Pytorch
为解决上面限制，本文提出 SemGCN，一种新的神经网络结构，用来处理 图结构数据 的回归任务。
其原理则是：SemGCN学会捕获语义信息，如局部和全局节点关系，这些信息不是明确表示在图中，这些语义关系可以通过GT值进行端到端训练来学习，不需要额外的监督或自定规则，最后进行全面的研究来验证SemGCN，结果表明SemGCN在使用90%的参数的情况下具有更好的性能。
CNNs目前成功解决图像分类、目标检测以及生成等经典CV问题，其中输入图像是规则的网格状结构（例如size = H×W）。然而现实中的许多任务，例如分子结构、社交网络和3D网格，通常都是不规则的结构，而CNNs在这方面受限。
为解决这一限制，开始引入 图卷积网络(GCNs)，但是，却有以下两个局限性，使得GCNs不能直接应用于回归问题。① 为解决图节点可能具有多个邻域的问题，卷积滤波器对所有节点共享相同的权值矩阵，CNNs则不是这样；② GCNs将滤波器限制在每个节点的一步邻域内运行，那么卷积核的感受野被限制为1，这当网络加深时会严重影响信息交换的效率。
一波未平一波又起，为解决上面所有限制，本文提出 SemGCN。在给定图中，研究学习语义信息的编码，例如局部和全局节点关系。使用SemGCN来实现2D到3D人体位姿回归。将一个2D人体姿态(或可选的相关图像)作为输入，最后预测3D关节在特定坐标空间中的位置。由于2D和3D姿势都可以用2D或3D坐标自然地表示，那么SemGCN可以显式地利用它们的空间关系。
最后本文方法的有效性通过严格**消融研究(ablation study)**的综合评估以及与当前先进方法比较来验证。在Human3.6M上测试，只使用2D关节坐标作为输入，并且使用90%的参数。与此同时，还展示了SemGCN的可视化结果，定性地证明方法的有效性。
主要贡献：
| notation | meaning |
|---|---|
| G | {V, E} |
| V | K个节点 |
| K | 总节点数 |
| E | 边 |
| i i i | 第 i i i 个节点 |
| j ∈ N ( i ) j\in N(i) j∈N(i) | 第 i i i 个节点的第 j j j 个邻节点 |
| x i ⃗ ( l ) ∈ R D l \vec{x_{i}}^{(l)}\in R^{D_{l}} xi (l)∈RDl | 节点 i i i 第 l l l 次卷积之前的表示 |
| x i ⃗ ( l + 1 ) ∈ R D l + 1 \vec{x_{i}}^{(l+1)}\in R^{D_{l+1}} xi (l+1)∈RDl+1 | 节点 i i i 第 l l l 次卷积之后的表示 |
| X ( l ) ∈ R D l × K X^{(l)}\in R^{D_{l}\times K} X(l)∈RDl×K | 总节点矩阵 |
| W ∈ R D l + 1 × D l W\in R^{D_{l+1}\times D_{l}} W∈RDl+1×Dl | 参数矩阵 |
| A ~ \tilde{A} A~ | 邻接矩阵A的对称标准化 |
Wang等人利用残差连接(residual connections)对基于等式(1)的深度图网络 (deep graph network)进行重新修改，来学习图像特征与3D顶点之间的映射，本文将ResGCN作为基准网络(baseline)。
等式(1)有两大缺点。首先，为了在任意拓扑结构的节点上运用卷积，必须对所有边共享核矩阵W，相邻节点或图中的内部结构的关系没有得到很好的利用。其次，以前的工作只收集每个节点的一阶邻居的特性，这使得感受野被固定为1。
如Fig.1(d)所示，还可以对等式2进一步扩展：
实际上，对于等式(4)可以通过 非局部层 (non-local layers) 来实现；基于等式(3)和(4)，本文提出新的网络结构用于回归任务——SemGCN，网络中的SemGConv和非局部层交错来捕获节点之间的局部和全局语义关系，如图2所示：
上图在网络开始时，先使用一个SemGConv将输入映射到潜在空间(latent space)；网络最后还有一个附加的SemGConv，用于将编码后的特性投影回输出空间。注意：若将SemGConv替换为vanilla graph convolutions，并且所有非局部层都删除，那么SemGCN变为ResGCN。
在一个预定义的摄像机坐标系统中，目的是学习一个回归函数
F
∗
F^{*}
F∗，使得在内含N个人体姿态的数据集上的损失最小化。
本文认为图像内容能够为解决模棱两可的情况提供重要的线索，因此，再将图像内容作为附加约束进一步扩展等式(5)，如下式：
整个框架如图3所示：由两个神经网络组成。先输入一幅图像，利用深度卷积网络进行2D关节预测；同时，它也是一个骨干网，从它的中间层汇集图像特征。由于2D和3D的关节坐标可以编码到人体骨骼中，因此提出的SemGCN根据2D姿态和感知特征来预测3D坐标，注意，当不考虑图像特性时，我们的框架采用等式(5)，SemGCN用于有效地编码从2D到3D姿态的映射，并且在合并图像内容时性能可以进一步提高。
ResNet 和 Hourglass 广泛应用在传统的人体位姿检测中，本文采用 ResNet 作为骨干网络( backbone )，因为它的中间层提供图像的层次特征，这在CV中，如目标检测和分割中很有用。给定输入图像中每个2D关节的坐标，在ResNet中汇集来自多个层次的特征，特别是，通过使用RoIAlign将从conv_1层提取的特征连接到conv_4层。然后将感知特性与2D坐标连接起来，并输入到SemGCN中。注意：由于输入图像中的所有关节具有相同的尺度，因此我们将特征集中在一个以每个关节为中心、大小固定的方形边界盒中，边长大小即骨骼的平均骨骼长度。
