提出使用向心偏移来对同一实例中的角点进行配对，此外又设计了一个（ corner-star deformable convolution network）十字星可变形卷积网络来适应corner特征。
CVPR2020接收
论文地址：https://arxiv.org/pdf/2003.09119.pdf
代码地址：https://github.com/KiveeDong/CentripetalNet
基于关键点的检测器取得了很好的效果，不过匹配错关键点的情况还是经常发生，并极大地影响了检测器的性能。作者在这篇文章中提出一种使用向心偏移来对同一实例中的角点进行配对的CentripetalNet向心网络。向心网络可以预测角点的位置和向心偏移，并对偏移结果对齐（aligned）的角点进行匹配。**结合位置信息，这种方法比传统的嵌入方法更准确地匹配角点。**corner pooling将边界框内的信息提取到边界上。为了使这些信息在角落里更容易被察觉，作者又设计了一个（ corner-star deformable convolution network）十字星可变形卷积网络来适应特征。除了检测外，作者还通过为CentripetalNet安置一个mask预测模块来探索anchor-free检测器上的实例分割。在MS-COCO test-dev上，CentripetalNet获得了48.0％的AP，而且分割性能达到了40.2％的AP。
传统的方法主要采用关联嵌入方法对角点进行配对，其中网络需要学习每个角点的附加嵌入，以识别两个角点是否属于同一个 bounding-box。这样，如果两个角点来自同一个box，它们将有一个相似的嵌入，否则，它们的嵌入将完全不同。
基于关联嵌入的检测器在目标检测中取得了很好的性能，但也存在一定的局限性。
基于上述考虑，本文提出了一种基于向心位移的角点匹配方法和一个十字星可变形卷积模块来更好地预测向心位移。
首先基于CornerNet生成候选角点。在所有候选角点的基础上，引入向心位置算法来寻找高质量的角点对，并生成最终的预测边界框。具体地说，向心偏移模块预测角点的向心偏移，并匹配角点对，其从其位置解码的偏移结果与向心偏移对齐。然后，我们提出了一种新的十字星可变形卷积算法，它的偏移场是从角点到相应中心的偏移量中得到的，用于进行特征自适应以丰富角点位置的视觉特征，这对于提高向心偏移模块的精度具有重要意义。最后，为了进一步提高检测性能，我们增加了一个实例掩码模块，并将该方法扩展到实例分割领域。该方法以向心位移模块的预测包围盒为区域建议，利用roalign提取区域特征，并应用小卷积网络预测分割掩模。总体来说，我们的向心网是端到端训练的，可以在有或没有实例分割模块的情况下进行推理。
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5h5YTIOr-1597911970695)(C:\Users\WangIronman\AppData\Roaming\Typora\typora-user-images\image-20200820105350980.png)]](https://img-blog.csdnimg.cn/20200820171323304.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhaGEwODI1,size_16,color_FFFFFF,t_70#pic_center)
Fig 2：CentripetalNet 概述。由于左上角和右下角的角点预测和特征自适应是相似的，为了简单起见，只画左上角模块。向心变换模块首先得到预测的角点和自适应特征，然后预测每个角点的向心位移，并根据预测的角点和向心位移进行角点匹配。在匹配过程中，如果移动角点的位置足够接近，它们将形成一个得分较高的边界框。
CentripetalNet四个模块：
步骤：
对于 
，其几何中心为：
( c t x i , c t y i = ( t l x i , b r x i 2 , t l y i , b r y i 2 ) ) \left(c t x^{i}, c t y^{i}=\left(\frac{t l x^{i}, b r x^{i}}{2}, \frac{t l y^{i}, b r y^{i}}{2}\right)\right) (ctxi,ctyi=(2tlxi,brxi,2tlyi,bryi)).
文中定义对 top-left 角点和 bottom-right 角点的向心偏移分别为：
log的作用： 降低向心偏移的数值范围，使得学习更容易。
训练过程中，在真实 corner 的位置，使用 smooth L1 loss，其中 N 为一个训练样本中GT的个数：
为了匹配角点，我们设计了一种利用角点的向心位移和位置进行匹配的方法。一对属于同一边界框的角应共享该框的中心，这是直观和合理的。由于我们可以从预测角点的位置和向心位移来解码对应的预测角点中心，因此很容易比较一对角点的中心是否足够接近，并且该两个中心是否接近由角点对组成的 bounding-box 的中心，如图3（c）所示。基于上述观察，我们的方法如下。从角点热图和局部偏移特征图中提取角点后，对同一类别的角点进行分组，满足 t l x < b r x < t l y < b r y tlx<brx<tly<bry tlx<brx<tly<bry的条件，即可构造出预测的边界盒 b b o x i bbox^i bboxi。对于每个边界框b，我们将其得分设置为其角点得分的几何平均值，这是通过在预测的角点热图上应用 softmax 获得的。
然后，如图3所示，我们将每个边界框的中心区域定义为等式3，以比较解码中心和边界框中心的接近度。
R c e n t r a l R_{central} Rcentral 的角点用下列公式计算：
其中，
0
<
μ
≤
1
0<μ≤1
0<μ≤1 表示中心区域的宽度和高度是边界框的宽度和高度的 μ 倍。通过向心偏移，可以分别解码左上角和右下角的中心
。
然后计算满足 ( t l c t x , t l c t y ) ∈ R c e n t r a l j ∧ ( b r c t x , b r c t y ) ∈ R c e n t r a l j \left(t l_{c t x}, t l_{c t y}\right) \in R_{c e n t r a l}^{j} \wedge\left(b r_{c t x}, b r_{c t y}\right) \in R_{c e n t r a l}^{j} (tlctx,tlcty)∈Rcentralj∧(brctx,brcty)∈Rcentralj的box的得分权重 w j w_j wj，这意味着回归的中心越接近，预测的box有更高的得分权重。对于其他边界框，我们将 w j w_j wj设置为0。最后，我们可以通过乘以得分权重对预测的边界框重新打分。
由于 corner-pooling，在feature map 中有一些“cross-star”，如图4（a）所示。“cross-star”的边界保留了对象的大量上下文信息，因为 corner-pooling 使用max和sum 操作将对象的位置信息沿“cross-star”边界扩展到角。要获取“十字星”的上下文信息，不仅需要一个大的感受野，还需要学习“十字星”的几何结构。基于上述直觉，我们提出了一种新的卷积运算，即十字星可变形卷积，以增强角点的视觉特征。
我们提出的跨星可变形卷积如图2所示。首先，将角 corner pooling 特征映射输入到跨星可变形卷积模块中。为了了解可变形卷积中十字星的几何结构，我们可以利用对应物体的大小来显式地引导偏移场分支，因为我们发现十字星的形状与包围盒的形状有关。不过，以左上角为例，他们自然应该少注意“十字星”的左上角，因为物体外有更多无用的信息。因此，我们将一个 guiding shift，如图3（b）所示，从角到中心的移位，包含形状和方向信息，嵌入到偏移字段分支。具体地，偏移场在三个卷积层上执行。前两个卷积层将角池输出嵌入到特征映射中，特征映射受以下损失的监督：
第二卷积层将上述特征映射到偏移场，偏移场显式地包含上下文和几何信息。通过可视化如图7c所示的学习偏移场，我们的跨星可变形卷积可以有效地学习“跨星”的几何信息并提取“跨星”边界的信息。
为了得到实例分割掩码，作者将soft-nms前的检测结果作为region proposals，并利用全卷积神经网络对掩码进行预测。为了保证检测模块能够产生方案，作者首先对中心网进行了几个时代的预训练。选择得分最高的k个提案，然后在主干网的特征图上进行RoIAlign，得到它们的特征。作者将RoIAlign的尺寸设置为14×14，并预测得到一个28×28的掩模。在得到RoI的特性后,作者应用连续四个3×3层卷积,然后用一层反卷积upsample特性映射到28×28 mask地图。在训练过程中，作者对每个区域的方案应用交叉熵损失。
（1）COCO数据集比较：
（2）分割：
（3）对比实验：
