Anchor3DLane:针对单目的3D车道线检测去学习回归3D锚
摘要：单目的3D车道线检测是一个非常具有挑战性的问题，因为他缺少深度的信息，3D车道线检测一个非常流行的方法是将前视图转换成鸟瞰图，通过逆透视变换（IPM），然后使用bev特征去检测车道线，但是，由于依赖逆透视变换的平面假设和损失了上下文的信息，使得去存储车道线从bev表示并不精确，有一种尝试，去除bev直接从前视图的表示去预测3d车道线，但是由于缺少3d车道线的表示，这些方法依然和bev相关的方法相比表现不佳，在这篇文章当中，我们在3d空间中定义了3d的锚，提出了一种BEV-free的方法，叫做anchor 3D LANE去预测3d的车道线，直接从前视图的表示，3d的车道线锚直接映射到前视图特征中去抽取特征，这些特征包含，很好的结构和上下文信息去做更精确的预测，我们然后扩展anchor 3D LANE，去做了一个多帧的设置，改善车道线的预测，额外的我们也开发了一个全局的优化方法，这种方法使用了车道线的等间距的属性，去减少预测的错误，扩展的实验，是在三个非常流行的3d车道线检测的标杆benchmark中显示的，我们的anchor 3D LANE方法，非常的OK。
在本文中，我们提出了一种新的无BEV方法命名为Anchor3DLane，可直接从前视图（FV）简洁有效地预测3D车道线。如图1（c）所示，在给定pitches和yaws角度的情况下，我们的Anchor3DLane将车道锚定义为3D中的射线。之后，我们首先利用摄像机参数将其投影到FV空间中对应的2D点上，然后通过双线性采样获得他们的特征。采用一个简单的分类头和一个回归头分别生成分类概率和锚点的三维偏移量，分别做最后的预测。与IPM中的信息丢失不同，原始FV特征采样保留了车道周围更丰富的上下文信息，这有助于估计3D信息。此外，我们的3D车道锚可以迭代地细化，以采样更准确的特征，以更好地捕获3D车道线的复杂变化。此外，Anchor3DLane可以轻松地扩展到多帧，通过使用镜头之间的姿势的辅助，这进一步改善单帧预测的性能。
此外，我们还利用全局约束来细化由于分辨率较低挑战比较远的部分。动机是基于一个直观的观察，车道在同一图像在大多数情况下似乎是平行的，除了分叉车道，即每个车道上不同点对之间的距离车道对几乎一致。通过将全局等宽优化应用于非分叉车道对，我们调整了三维车道预测，使车道对的宽度从近到远。车道线远段横向误差可以通过上述调整进一步减少。
我们的贡献总结如下：
•我们提出了一个新的Anchor3DLane框架，直接定义3D空间中的锚，并回归3D
车道直接从FV图中检测而不引入BEV空间。一个Anchor3DLane多帧扩展的设置，进一步提高性能的信息。
• 我们开发了一个全局优化方法，利用车道线的等宽特性进行车道细化。
• 真是没使劲和你们吹NB，我们的Anchor3DLane简直就是神的存在。
我们的Anchor3DLane的整体架构如图3所示。给定一个前视图像I作为输入，其中H和W表示高度和输入图像的宽度，一个CNN骨干网（例如，ResNet-18）的方法在FV空间来提取表示的二维视觉特征。为了扩大网络的接受域，我们进一步插入一个单一的Transformer层在主干网后获得增强型2D特征图F ∈ RHf×Wf×C，其中Hf、Wf和C分别代表特征图的高度、宽度和通道数。然后将3D锚点投影到该要素图F的辅助下，相机参数，并使用双线性插值采样相应的锚特征。之后，我们应用一个分类头和一个回归头部到采样的锚定特征来进行预测，每个头部由几个轻量级的完全连接的层。此外，预测可以是被认为是一个新的3D锚进行迭代回归。
在本节中，我们首先重新讨论了三维车道的表示。如图2所示，本文涉及两个不同的坐标系，包括相机坐标系和地面坐标系。相机坐标系直接对应于fv图像，并且是右手规则的坐标系统，由原点occ和XC，YC，Zc轴组成，Oc位于相机中心，Zc垂直于摄像机平面。3D车道通常在地面坐标系中标注。其中原点Og设置在Oc以下，x轴xG点正向右，y轴yg点正向前，z轴zg点正向上。3D车道线由3D的点描述，其中y轴坐标均分成N段。这样，我们表示一个3D车道线中，第i条线中的第k个点，pik=（x_ik,y_ik，z_ik,vis_ik），前三个是坐标，最后一个是是否可见性。值得注意的是，
我们阐述了我们的方法的基础上，地面坐标系统遵循在以前的文章中采用的常见做法【7，8】。然而，我们的Anchor3DLane能够在任意3D坐标系中工作，只要相机参数可用。
