视觉SLAM——视觉里程计解决方案分析（间接法）

目录

• 基本问题 分析
• 各类求解方案
• 优缺点分析

基本问题

  视觉里程计是视觉SLAM技术的起点，其核心问题同SLAM技术一样，主要是定位与构图，但视觉里程计解决的核心是定位问题，也就是相机的位姿。通俗地讲就是利用多张图像信息还原相机的运动。

  以两帧图像为例。设空间点 P P P为路标点， p 1 , p 2 p_1,p_2 p1​,p2​为图像上的投影点。其中 p 1 , p 2 p_1,p_2 p1​,p2​为两帧图像正确匹配的特征点， O 1 , O 2 O_1,O_2 O1​,O2​为图像的坐标系。
  在 O 1 O_1 O1​中， P P P点坐标为 ( X 1 , Y 1 , Z 1 ) (X_1,Y_1,Z_1) (X1​,Y1​,Z1​)， p 1 p_1 p1​的坐标为 ( u 1 , v 1 , z 1 ) (u_1,v_1,z_1) (u1​,v1​,z1​)。
  同理，在 O 2 O_2 O2​中， P P P点坐标为 ( X 2 , Y 2 , Z 2 ) (X_2,Y_2,Z_2) (X2​,Y2​,Z2​)， p 1 p_1 p1​的坐标为 ( u 2 , v 2 , z 2 ) (u_2,v_2,z_2) (u2​,v2​,z2​)。
  同时。坐标系 O 1 , O 2 O_1,O_2 O1​,O2​之间的欧式变换矩阵为 R R R(旋转)， t t t（平移）。
  视觉里程计（直接法）的基本问题可描述为，在已知或部分已知上述坐标的情况下，求解 R R R， t t t。
根据不同的已知信息，分为以下不同的解决方案。

各类求解方案

方案一：仅仅采集二维图像（2D-2D）（单目相机）

已知条件： p 1 ( x 1 , y 1 ) ， p 2 ( x 2 , y 2 ) p_1(x_1,y_1)，p_2(x_2,y_2) p1​(x1​,y1​)，p2​(x2​,y2​)。注意z未知.

求解方案：对极约束，求解 E = t ∧ R E=t^\wedge R E=t∧R，如何对 E E E进行SVD分析，还原出 t , R t,R t,R。利用三角测量（三角化）可得到 P P P点的深度信息。

方案二：已知部分三维图像（2D-3D）（双目相机 or D-RGB相机）

已知条件： p 1 ( x 1 , y 1 , z 1 ) ， p 2 ( x 2 , y 2 ) p_1(x_1,y_1,z_1)，p_2(x_2,y_2) p1​(x1​,y1​,z1​)，p2​(x2​,y2​)。注意 z 2 z_2 z2​未知，此类问题称为 P n P PnP PnP问题

求解方案1：对于 P n P PnP PnP问题的求解方法有很多，如：直接线性变换，BA优化等。当总的来说都是直接求解 R , t R,t R,t。

求解方案2：求解 z 2 z_2 z2​，得到图像的全部三维信息，转换为ICP问题（3D-3D）。求解 z 2 z_2 z2​的方法称为 P 3 P P3P P3P。

方案三：已知全部三维图像（3D-3D）（双目相机 or D-RGB相机）

已知条件： p 1 ( x 1 , y 1 , z 1 ) ， p 2 ( x 2 , y 2 , z 2 ) p_1(x_1,y_1,z_1)，p_2(x_2,y_2,z_2) p1​(x1​,y1​,z1​)，p2​(x2​,y2​,z2​)。此类问题称为 I C P ICP ICP问题。

解决方案：SVD分解，BA优化；

这里特意提一下BA优化，这是一种同用的非线性优化方法，在SLAM中应用非常广泛。

优缺点分析

  对极约束对于采集图像的硬件要求低，有着较低的成本，但是求解得到 R , t R,t R,t有着尺度问题，需要在一开始对 t t t进行归一化。与此同时，需要利用三角测量才能知道特征点的深度信息。

  PnP与ICP问题在SLAM中常常混合出现，因为采集的图像可能出现部分图像没有深度信息。因此，采用双目或RGB-D相机避免了尺度问题，但增加了硬件成本。

参考文献：https://blog.csdn.net/u014709760/article/details/88059000