(仅翻译了与目标识别相关的内容)
论文地址:https://arxiv.org/pdf/2003.09119.pdf
源码地址:https://github.com/KiveeDong/CentripetalNet
目录
Abstract
1.Introduction
2.Related work
3. CentripetalNet
3.1. Centripetal Shift Module
3.2. Cross-star Deformable Convolution(Cross-star变形卷积)
3.3. Instance Mask Head
4. Experiments
4.1. Experimental Setting
4.2. Comparison with state-of-the-art models(与最新模型的比较)
4.3. Ablation study(消融研究)
4.4. Qualitative analysis (定性分析)
5. Conclusion
Abstract
基于关键点的检测器具有良好的性能。然而,不正确的关键点匹配仍然普遍存在,严重影响了检测器的性能。在本文中,我们提出了 CentripetalNet,它利用向心偏移来对同一实例中的角点进行配对。CentripetalNet 预测角点(corner points)的位置和向心偏移(centripetal shift),并对偏移结果对齐(aligned)的角点进行匹配。结合位置信息,我们的方法比传统的嵌入方法更精确地匹配角点。corner pooling 将边界框内的信息提取到边界上。为了使角点处的信息更加敏感(更容易被察觉),我们设计了一个 交叉星可变形卷积网络(corner-star deformable convolution network)来进行特征自适应。此外,我们通过为我们的CentripetalNet安装一个 mask prediction module(掩模预测模块)来探索anchor-free检测器上的实例分割。 在MS-COCO test-dev上,我们的CentripetalNet不仅以48.0%的AP胜过所有现有的anchor-free检测器,而且以40.2%的M askAP达到了与最新实例分割方法相当的性能。代码将在https://github.com/KiveeDong/CentripetalNet上提供。
1.Introduction
目标检测是计算机视觉在自动驾驶、移动娱乐、视频监控等应用中的一个基本课题。其挑战来源于目标外观较大的尺度、形变、遮挡。随着深度学习的发展,目标检测取得了长足的进步[10,9,29,26,23,19,11,20,1,17]。基于锚的方法[9,29,23]在过去几年中引领了潮流,但是很难手动设计一组合适的锚。此外,基于锚的方法在负锚和正锚之间存在显著的不平衡。为了改进它,CornerNet[17]提出了一种将边界框表示为一对角点的新方法,即左上角和右下角。基于这种思想,出现了许多基于角点的方法[17,7]。corner-based 的检测框架逐渐引领了目标检测领域的新趋势。corner-based 的检测框架分为角点预测和角点匹配两个步骤。在本文中,我们主要关注第二步。
常规方法[17,7]主要采用关联嵌入方法对角点进行配对,其中网络需要学习每个角点的附加嵌入,以识别两个角点是否属于同一个 边界框(bounding-box)。这样,如果两个角来自同一个box,它们将有一个相似的嵌入,否则,它们的嵌入将完全不同。基于关联嵌入的检测器在目标检测中取得了相当不错的性能,但是它们也有一些局限性。首先,在训练过程中采用推拉损失( push and pull loss)来学习每个点的嵌入。Push loss(推损)将在不属于同一目标的点之间计算,以使它们彼此远离。而 pull loss(拉损)只在属于同一 物体的点之间进行考虑。因此,在训练过程中,实际上训练了网络在对角线的所有潜在点内寻找唯一的匹配点。当一个训练样本中存在多个相似目标时,该方法对异常值非常敏感,训练难度将会急剧增加。其次,嵌入预测基于外观特征,不使用位置信息,如图1所示,如果两个目标的外观相似,即使它们相距很远,网络也会为它们预测相似的嵌入。
图1.(a)由于相似外观引起的相似嵌入,CornerNet会生成一些错误的角点对。(b)Center