这篇文章是对VSLAM涉及的知识点进行系统性的总结和更新，一些内容来源至VSLAM经典教材，博客，和开源项目(引用材料如下表)
- SLAM十四讲高博
- 古月老师的技术博客
- 崔神的github(VIO讲解）
- 知乎面经
- 计算机视觉life
**相关知识点不断更新中-最近更新2022年12月5日
RANSAC异常点剔除算法：
1.有一个模型适应于假设的局内点，即所有的未知参数都能从假设的局内点计算得出。
2.用1中得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点。
3.如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。
4.然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。
5.最后，通过估计局内点与模型的错误率来评估模型。
固定迭代的次数重复执行，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用。
增强特描述子之间的区分度：
- 旋转不变性（增加方向向量）
- 尺度不变性（使用图像金字塔）
- 光照不变性（使用对曝光模型增加识别度）
单目视觉尺度漂移：
在使用单目相机估计相机姿态和3D坐标时，需要对极几何、三角化估计，这个过程中会产生累积误差，进而导致尺度的不一致，产生尺度漂移。根本原因是单目相机无法根据一张图片就会的图中物体的大小信息，这就是尺度漂移的根源。
解决办法：将前后两帧的尺度作为后续的尺度。采用全局式估计，使用统一的尺度。
单目和VIO的可观性：
单目VO：七自由度不可观，三自由度位置，三自由度旋转，尺度。
VIO：四自由度不可观，加速计导致尺度可观，由于重力向量已知，导致和重力向量平行的roll翻滚角，重力向量垂直相交的pitch俯仰角可观。剩下三自由度位置和绕重力旋转的yaw航向角不可观。
后端不收敛的解决办法
（1）第一次进入后端优化就不收敛，这时候就应该分析优化变量和约束条件的理论和code是否正确；
- 迭代次数不够，增加迭代次数。
- 优化方法的问题：使用高斯牛顿法时，可能出现JJT（H的近似）为奇异矩阵或者病态的情况，此时增量稳定性较差，导致算法不收敛。（残差函数在局部不像一个二次函数，泰勒展开不是很准确），导致算法不收敛。而且当步长较大时，也无法保证收敛性改进更换增量方程的求解方法，如果使用的是高斯牛顿法，可尝试使用LM法算法。
（2）前面优化收敛，突然当前优化不收敛，这时候需要判断下是否加入了错误的回环约束：删除回环约束，重新本次优化，如果OK，则应该是回环错误。
定位阶段实际地图与离线地图发生较大差异的情况
先建立局部定位使得系统在没有地图时也能定位，等找到了回环，再进行全局优化。
针对SLAM算法的各个阶段，谈谈使用哪些方法可以提升算法的运行速度?
前端特点匹配识别使用GPU加速
后端涉及内存搬用的部分，全部改为引用和指针。
单目slam和双目slam的区别？
双目SLAM，不用初始化，双目可以恢复世界尺度，单目不能。
单目标定简单参数不易变换，双目标定难维护难。
如果环境中有两个版本的OpenCV，如何在CMakeList.txt中指定使用某一版本的OpenCV?
fin_package（OpenCV 3.4 REQUIRED）
紧耦合、松耦合、优缺点？
松耦合： 松耦合中视觉运动估计和惯导运动估计系统是两个独⽴的模块，将每个模块的输出结果进⾏融合。算法简单计算量不高，拓展性强，可以增加传感器，但精度一般。
紧耦合：紧耦合则是使⽤两个传感器的原始数据共用构建一个误差函数来估计⼀组变量，传感器噪声也是相互影响的。紧耦合算法上⽐较复杂，计算量大，充分利⽤了传感器数据可以实现更好的精度，但不可拓展或者说拓展性能差。
多传感器时间标定（例如：相机和IMU之间的时间标定）
1）在线标定:VINS-mono，将时间漂移作为一个优化变量。
2）Kalibr 工具箱中离线的时间标定方法。
3）硬件对齐：因为时钟源都有钟漂，而且每个时钟源钟漂不同，所以即使把各个传感器时间戳在初始时刻对齐，运行一段时间之后，之前对齐的结果仍会偏离。解决这个问题的办法就是在硬件上把时钟源统一，常见的做法是做一个脉冲发生器，所有传感器都被这个脉冲触发，每次触发都校正一次自己的时钟，这样就可以消除时钟源的累计误差。
相机标定：
使用相机自标定法：相机自标定方法并不需要知道图像点的三维坐标，它通过计算某一点在不同拍摄角度的场景图中的相对关系来确定相机标定的参数问题。自标定法的这种特性，使得它能够完成一些未知相机参数的标定，方法灵活，得到的结果较差。
基于主动视觉的相机标定法是通过主动系统控制相机做特定运动，拍摄多组图像，依据图像信息和已知位移变化来求解相机内外参数。
基于主动视觉的相机标定法是通过主动系统控制相机做特定运动，拍摄多组图像，依据图像信息和已知位移变化来求解相机内外参数。相机标定kalibr工具包，标定板进行标定。
IMU标定：
IMU的误差模型给出了输出的测量值与真实值之间的对应关系方程，显然要求解的变量就是标定参数。可以看出只要找到了相对应的真实值和测量值，解这个方程组就好了。对于加速度计来说，这个好办，因为地球上天然的就存在重力加速度，只要调整IMU的姿态就能测出若干组真值。但是对于陀螺仪来说事情就变得没那么简单了，因为角速度的真值并没有能够直接获取的途径。一般专业的IMU标定都得借助专门的转台设备来进行。
kalibr标定工具包：
多相机标定（内外参标定，包括无重叠视场的情况）
Visual-Inertial标定，spatial – 旋转+平移，temporal – 不同传感器时间戳的偏差；
卷帘相机标定，卷帘相机的不同行的曝光开始时间有先后顺序，所以与快门相关的参数也要标出来。
如何标定IMU与相机的内参和外参？
多目相机的标定方法 ?
多相机怎样实现周视系统 ?
相机畸变种类有哪些？径向畸变（透镜的形状决定的），切向畸变（感光元件的安装位置决定的）。
在没有groundtruth情况下如何判断自己的置信度？
因为没外部参考的真实值，所以要采用平均值作为数据分析的center。然后求得偏差作为置信度。
误差函数不同。
特征点法是重投影误差，直接法是光度误差，雅克比矩阵不同。
光流法还是需要提取图像中有代表性的点，图像的特征点，只是不需要再计算描述子了，光流法通过灰度假设计算特征点像素的运动，然后通过PNP、对极几何、ICP等方法求解相机的运动；而直接法直接通过灰度假设计算得到相机之间的运动，任何图像的点都可以，不需要提取有代表性的点。
- 正交矩阵：
- 对角矩阵：
- 上三角或下三角矩阵：
- 反对称矩阵：
- 旋转矩阵
- 旋转向量
- 欧拉角
- 四元数
- IMU积分的作用：通过积分IMU每个时刻的加速度和角速度来结算位姿
- 预积分的作用：IMU的采样频率是高于图像帧的发布频率的，所以相邻两个图像帧之间的IMU信息需要积分从而与视觉信息对齐。对IMU积分时，积分符号中有被优化的状态变量，通过预积分可以去除积分号里面被优化的状态变量，让IMU的积分只跟IMU的测量值有关，而与被优化的状态量无关，通过预积分可以避免每次优化完状态变量后，再重新进行积分操作，减少计算量。
- 预积分的推导
图像金字塔的方法，即窗口固定，将图像生成金字塔，在每一层金字塔上都用同一个大小的窗口来进行光流计算。那么在图像大小较小的时候，窗口显得较大，此时的光流可以跟踪速度较快的目标，而在原始图像的时候，光流窗口相对较小，得到的光流就更准确。这是一个由粗到精的过程。构建图像金字塔可以解决大运动目标跟踪，也可以一定程度上解决孔径问题（相同大小的窗口能覆盖大尺度图片上尽量多的角点，而这些角点无法在原始图片上被覆盖）。
- 光流的基本假设：亮度不变，以及区域运动一致性（都是较强的假设）。
- 当窗口较大时，光流计算更鲁棒。当运动较为剧烈的时候，无法实现光流的基本假设，所以当我们的领域加大的时候，算法更鲁棒。
- 当窗口较小时，光流计算更正确。原因在于，当图像中每一个部分的运动都不一致的时候，如果开的窗口过大，很容易违背假设：窗口（邻域）内的所有点光流一致，这可能与实际不一致，所以窗口小，包含的像素少，更精确些。
- 增大窗口，因为LK算法的约束条件即：小速度，亮度不变以及区域一致性都是较强的假设，并不很容易得到满足。如当物体运动速度较快时，假设不成立，那么后续的假设就会有较大的偏差，使得最终求出的光流值有较大的误差。构建图像金字塔可以解决大运动目标跟踪，也可以一定程度上解决孔径问题（相同大小的窗口能覆盖大尺度图片上尽量多的角点，而这些角点无法在原始图片上被覆盖）。
- 考虑物体的运动速度较大时，算法会出现较大的误差。那么就希望能减少图像中物体的运动速度。一个直观的方法就是，缩小图像的尺寸。假设当图像为400×400时，物体速度为[16 16],那么图像缩小为200×200时，速度变为[8,8]。缩小为100*\100时，速度减少到[4,4]。
- 所以光流可以通过生成原图像的金字塔图像，逐层求解，不断精确来求得。简单来说上层金字塔（低分辨率）中的一个像素可以代表下层的两个。
- 特征点法：运动或者旋转过大时，只要匹配点还在像素内，则不太会引起无匹配，相对于直接法有更好的鲁棒性。只能用来构建稀疏地图，无环境特征时无法工作，且计算和匹配描述子，耗费计算量。
- 直接法：有梯度即可，可以在渐变的环境下工作。
不需要计算描述子，不需要匹配特征点，节省了很多计算量。可以筹建半稠密乃至稠密的地图。
稀疏的直接法可以做到非常快速的效果，适合real time和资源受限的场合。基于灰度不变假设，容易受外界光照的影响。相机发生大尺度移动或旋转时无法很好的追踪，非凸优化，容易局部极值。用尺度金字塔改善。- 光流法 ：关键点提取的多少基本上都可以工作。
- 本质矩阵E：E = t^R （本质矩阵E根据匹配的特征点求得，包含了平移和旋转的信息，可以通过奇异值分解（SVD）求得平移和旋转）
* E的自由度和求解方法：具有平移和旋转共六自由度，但由于尺度等价性事实上只有五自由度，因此需要至少五对点求解，一般使用八点法求解。
* E的内在性质：1-本质矩阵 E 的奇异值必定是 [σ, σ, 0]T 的形式 （t^ 是反对称矩阵，R是正交矩阵，E=t^R所以存在E的内在性质）。2.-E秩是2(对于线性方程求解出来不满足内在性质E, 可以将最小奇异值设为0).
* E求解出R和t的方法：使用矩阵奇异值分解 E = UΣVT 其中 U,V 为正交阵，Σ 为奇异值矩阵
* E的求解技巧：据线性方程解出的 E，可能不满足 E 的内在性质——它的奇异值不一定为 σ, σ, 0 的形式。这时，在做 SVD 时，我们会刻意地把 Σ 矩阵调整成上面的样子。通常的做法是对八点法求得的 E 进行 SVD 分解后，会得到奇异值矩阵 Σ = diag(σ1, σ2, σ3)，不妨设 σ1 ≥ σ2 ≥ σ3。取：diag( （σ1 + σ2）*1/2,（σ1 + σ2）*1/2 , 0)）这相当于是把求出来的矩阵投影到了 E 所在的流形上。当然，更简单的做法是将奇异值矩 阵取成 diag(1, 1, 0)，因为 E 具有尺度等价性，这样做也是合理的。- 本质矩阵基础矩阵的推导：
*
- 基本矩阵F：F = k’Ek-1 （基本矩阵就是本质矩阵多了相机外参）
- 单应矩阵H：H 描述两个平面之间的映射关系 。
* 应用场景：如扫地机器人携带顶视相机，和无人机携带俯视相机
* 单应矩阵H的工程作用：特征点共面或者相机发生纯旋转的时候，基础矩阵的自由度下降，这就出现了所谓的退化（degenerate）。现实中的数据总包含一些噪声，这时候如果我们继续使用八点法求解基础矩阵，基础矩阵多余出来的自由度将会主要由噪声决定。为了能够避免退化现象造成的影响，通常我们会同时估计基础矩阵 F 和单应矩阵。H: 选择重投影误差比较小的那个作为最终的运动估计矩阵。
* 计算H：自由度8，使用4点，每个点提供两自由度（理论上提供3自由度，自由度实际能用2）。分解的方法包括数值法与解析法。
- 特点：两张图一张3D点已经知道，至少三对点才能。3D-2D 方法不需要使用对极约束，又可以在很少的匹配点中获得较好的运动估计，是最重要的一种姿态估计方法。
- 求解方法：
- 三对点估计位姿的P3P（3对点）
- 直接线性变换（DLT）（六对点，使用SVD求解 u=[RT]P）（ 直接线性变换的误差，在于求解出来的矩阵可能不满足旋转矩阵约束，需要利用QR分解进行近似，如果不知道内参时，内参估计的过程也会引入误差。）
- EPnP（Efficient PnP）[46]，UPnP[47] 等等）。
- 非线性优化BA.
匹配3D点，求解R和T的方法：
- 点对点旋转平移转换公式，通过SVD方法，先求旋转矩阵R, 再求平移T。
- 使用BA优化方法，直接求RT.
两帧之间构建残差
视觉残差：
1）特征点法：通过重投影误差构建残差，使用观测值减去估计值来构建代价函数，可以同时位姿和特征点。
2） 直接法：光度误差
IMU残差：IMU预积分增量和帧间增量的差值
公式推导
- 重投影误差公式推导：
- 光度误差公式推导：
- IMU残差推导;
非线性优化的方法和区别？
非线性优化问题的框架，分为 Line Search 和 Trust Region 两类。
Line Search (线性搜索） 先固定搜索方向，然后在该方向寻找步长，以最速下降法和 Gauss-Newton 法为代表。
Trust Region（信赖区域）先固定搜索区域，再考虑找该区域内的最优点。此类方法以 L-M 为代表。
公式推导：求解增量deltX使得目标函数最小
* 最速下降法（目标函数泰勒展开保留一阶梯度，过于贪心容易走出锯齿形）：
* 牛顿法（目标函数泰勒展开保留二阶梯度，H矩阵难以计算）：
* G-N（f(x)一阶泰勒展开，展开目标函数的平方项，求导数为0）：
*
* LM（GN的二阶近似，只能在展开点附近有好的效果，给deltx设置限定区域从而保证近似值的准确性）：
* 我们用 Lagrange 乘子将它转化为一个无约束优化问题
图优化
- 图优化与非线性最小二乘的关系：slam中的图优化的环节,本质上实际是一个非线性最小二乘问题的求解过程.
- 图优化求解过程：
控制优化模型规模原因：
在slam的后端优化问题中，通常会通过⼀些传感器的观测，比如视觉特征点，IMU预积分量，Lidar面点和边缘点（角点）的约束去构建一个优化问题，去求解状态量（如位姿、速度等）。这个时候存在一个问题，当给这个系统新增⼀个约束时，就会重新建立所有的约束对状态量的优化问题进行求解；当优化模型增大时，显然进行一次优化的时间也会增加很多；一方面实时性遭遇了挑战，另一方面，很久之前的状态也没有继续更新的必要。这时候就需要控制优化模型的规模。
- 第⼀种方式：滑动窗口来控制优化问题的规模，但滑动窗口需要处理好边缘化的问题；
- 第二种方式：因子图的模型来解决优化模型的规模。
- 增量推理：前面所说的约束就是因子节点，优化变量就是优化节点，通过调整变量求得最大后验估计，就得到了我们想要的状态量。最大后验概率正比于所有因子图相乘的最大概率值。最大后验是整个因子图实际上就是每个因子单独的乘积。在机器人运行的过程，因子图往往是逐渐成长和增大的。比如说在往前移动的过程中，加了一组节点，随着观测的数据越来越多，加了越来越多的因子进来。 每一次求解都是比上次多一些因子，而且大部分因子图跟之前因子图是基本一致的，这是增量推理（incremental inference).
- 因子图求解过程： 假设因子图只加了一点， 其他都没变，如果从零开始求解，矩阵会越来越大，求解速度会越来越慢，而且绝大多数都是重复性的工作。sam1实际上做的是增量QR分解。给定一个J矩阵，可以分解成Q和R，假设因子图其他都不变，之前的因子图还在，加了一些新的因子。每一个因子对应的是J矩阵的每一行，所以新加了几个因子，就是在J矩阵中增加了几行。问题就是如果在已知分解出来的QR的情况下，J增加了几行，如何快速算出R矩阵。
- 第三种方式，位姿图优化，只优化位姿位姿变量，不优化特征点变量。
卡尔曼滤波步骤
