完整资源：GIthub链接
图像灰度均值、方差
图像的灰度平均值是平指灰度的平均水平。
平均方差是衡量一个样本波动大小的量，对图像来说，平均方差反应的是图像高频部分的大小。方差小，则图片看着较暗；方差大，则图片看着较亮。
灰度的均值代表图像的亮度。
方差代表其对比度
采样间距、图像数据量、质量
◆ 一般来说，采样间隔越大，所得图像像素数越少，空间分辨率低，质量差，严重时出现马赛克效应；采样间隔越小，所得图像像素数越多，空间分辨率高，图像质量好，但数据量大。
检测图像边缘的2种数学方法
一阶微分算子和二阶微分算子。
一阶：Roberts算子以及在此基础上发展的Sobel算子[9,10]、Isotropic Sobel算子, Prewitt算子、Kirsch算子和Robinson算子等
二阶：Laplacian算子, LOG算子, DOG算子和Canny算子等
边缘检测：识别图像中的突然变化(不连续：表面法向量、深度、表面颜色、照明)
边缘是图像强度函数变化迅速的地方
梯度指向强度增长最快的方向
补充学习： 一阶微分和二阶微分的区别:
(1)一阶微分处理通常会产生较宽的边缘
(2)二阶微分处理对细节有较强的响应,如细线和孤立点
(3)一阶微分处理一般对灰度阶梯有较强的响应
(4)二阶微分处理对灰度级阶梯变化产生双响应
(5)二阶微分在图像中灰度值变化相似时,对线的响应要比对阶梯强,且点比线强.
大多数应用中,对图像增强来说.二阶微分处理比一阶微分好,因为形成细节的能力强. 而一阶微分处理主要用于提取边缘.
(低通、高通)滤波器
都是线性空间域滤波器（非线性：中值、最大值、最小值）
平滑滤波器（低通）
主要用途：钝化图像、去除噪音
锐化滤波器（高通）
主要用途：边缘增强、边缘提取
带通滤波器
主要用途：删除特定频率、增强中很少用
灰度变换函数
s = T（r）
三种基本类型
反转变换： s = L − 1 − r s = L - 1 - r s=L−1−r
适于处理增强嵌入于图像暗色区域的白色或灰色细节,特别是当黑色面积占主导地位时.
对数变换： s = c log ( 1 + r ) s = c \log ( 1 + r ) s=clog(1+r)
使一窄带低灰度输入图像映射为一宽带输出值.可以用于扩展图像中的暗像素.
幂次变换： s = c r r s = c r ^ { r } s=crr
幂次曲线中的γ值决定了是把输入窄带暗值映射到宽带输出值还是把输入窄带亮值映射到宽带输出.
图像量化
图像量化（和采样）分为均匀量化和非均匀量化。
◆ 量化等级越多，所得图像层次越丰富，灰度分辨率高，图像质量好，但数据量大；量化等级越少，图像层次欠丰富，灰度分辨率低，会出现假轮廓现象，图像质量变差，但数据量小。
梯度下降法
SLAM
SLAM:Simultaneous localization and mapping缩写,意为“同步定位与建图”
主要用于解决机器人在未知环境运动时的定位与地图构建问题
根据传感器不同分为：视觉SLAM、激光SLAM
ORB特征
补充1：特征匹配 :通过描述子的差异判断哪些特征为同一个点
补充2：特征匹配之后，得到了特征点之间的对应关系
如果只有两个单目图像，得到2D-2D间的关系 ——对极几何
如果匹配的是帧和地图，得到3D-2D间的关系 ——PnP
如果匹配的是RGB-D图，得到3D-3D间的关系 ——ICP
外参
对于世界坐标系的旋转和平移。
两像机间的相对位置和方向。
旋转矩阵R和平移矢量T
VO（Visual Odometry：视觉里程计）算法通常分为两类
特征点法
直接法
SLAM后端优化
畸变
神经网络前向传播、反向传播
池化（汇聚）
即特征压缩或下采样。
<br>
Dropout
Dropout假设网络间连接越少越好
我们在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征
训练时，减少每次实际参与计算的模型的参数量
测试时， Dropout会恢复所有的连接，保证模型测试时获得最好的性能。
步骤
图像锐化与图像平滑
均值滤波器、中值滤波器
空间微分。图像微分增强了边缘和其他突变(如噪声)而消弱了灰度变化缓慢的区域.
电磁波谱成像(举例)
光 —— 可以被人眼感知的电磁波。（一般人的眼睛可以感知的电磁波的波长在400～760nm之间，但还有一些人能够感知到波长大约在380～780nm之间的电磁波）电磁波是能量的一种，任何有能量的物体，都会释放电磁波。人从物体感受的颜色由物体反射光决定。
无线电波、红外线、可见光、紫外线、X射线、γ射线都是电磁波
举例：
γ射线:核医学和天文观测。
x射线：X光片、CAT扫描
紫外光成像：平板印刷术、工业检测、显微镜方法、激光、生物成像和天文观测等。
可见光及红外波段成像：最常见的方式。
微波成像：雷达
无线电波成像：核磁共振成像（MRI
统计排列滤波器
属于空间平滑滤波器。
一种非线性滤波器,它的响应基于图像滤波器包围的图像区域中像素的排序,然后由统计排序结果决定的值代替中心像素的值. 最常见的是中值滤波器 。
中值滤波器:
注：二维中值滤波的窗口形状和尺寸对滤波效果影响较大，不同的图像内容和不同的应用要求，往往采用不同的窗口形状和尺寸。常用的二维中值滤波窗口有线状、方形、圆形、十字形以及圆环形等。窗口尺寸一般先用3X3,再取5×5逐渐增大，直到滤波效果满意为止。就一般经验来讲，对于有缓变的较长轮廓线物体的图像，采用方形或圆形窗口为宜。对于包含有尖顶物体的图像，用十字形窗口，而窗口大小则以不超过图像中最小有效物体的尺寸为宜。如果图像中点、线、尖角细节较多，则不宜采用中值滤波
立体视觉三角化（SLAM中，下面第二、三张图）
z = B ⋅ f d z = \frac { B \cdot f } { d } z=dB⋅f
其中： d = x − x ′ d = x - x ^ { \prime } d=x−x′为视差。
迭代最近点ICP
ICP算法能够使不同的坐标下的点云数据合并到同一个坐标系统中，首先是找到一个可用的变换，配准操作实际是要找到从坐标系1到坐标系2的一个刚性变换。
ICP算法本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对， 计算最优刚体变换，直到满足正确配准的收敛精度要求。
ICP 算法的目的是要找到待配准点云数据与参考云数据之间的旋转参数R和平移参数 T，使得两点数据之间满足某种度量准则下的最优匹配
假设给两个三维点集 X1 和 X2，ICP方法的配准步骤如下：
第一步，计算X2中的每一个点在X1 点集中的对应近点；
第二步，求得使上述对应点对平均距离最小的刚体变换，求得平移参数和旋转参数；
第三步，对X2使用上一步求得的平移和旋转参数，得到新的变换点集；
第四步， 如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续迭代，直到达到目标函数的要求。
立体视觉中大基线和小基线(短基线和长基线)
短基线:
较大的公共视野区域;
深度误差（不确定区域）较大。
长基线
公共视野区域较小;
深度误差（不确定区域）较小。
SLAM方程
两个基本方程：
运动方程：
x
k
=
f
(
x
k
−
1
,
u
k
,
w
k
)
x _ { k } = f ( x _ { k - 1 } , u _ { k } , w _ { k } )
xk=f(xk−1,uk,wk)
观测方程：
z
k
,
j
=
h
(
x
k
,
y
j
,
v
k
,
j
)
z _ { k , j } = h ( x _ { k } , y _ { j } , v _ { k , j } )
zk,j=h(xk,yj,vk,j)
> 防止过拟合：正则化、添加动量、学习率衰减、早停、DropOut、数据增强
激活函数（sigmoid、tanh优缺点）
激活函数：帮助网络去理解、学习非常复杂的非线性函数，输入产生怎样的响应
推导对极约束方程
SLAM流程图（每一部分都是干什么）
传感器数据读取：
视觉里程计：
* 相邻图像估计相机运动
* 基本形式：通过两张图像计算运动和结构
* 不可避免地有累积漂移
后端优化：
* 从带有噪声的数据中优化轨迹和地图 状态估计问题
回环检测：
* 检测机器人是否回到早先位置
* 识别到达过的场景
* 计算图像间的相似性
* 减小累积误差
建图 ：
* 用于导航、规划、通讯、可视化、交互等
* 度量地图 vs 拓扑地图
* 稀疏地图 稠密地图
LeNet-5
典型的7层卷积神经网络。3个卷积核。卷——池——卷——池——卷——连——出
投影方程（相机）
卷积尺寸计算（输入输出尺寸）
我的补充：卷积参数共享
简单卷积计算（矩阵、卷积核、步长→结果）
简单
