基本假设：
（1）亮度不变假设：即待估计的光流在两帧图像中的同一物体的亮度不变
（2）邻域光流相似假设：以像素点(x,y)为中心，设定n*n的邻域内所有像素点的光流值是一致的。（n不会很大）
式中，
I
x
′
,
I
y
′
I'_x,I'_y
Ix′,Iy′分别表示在像素点
(
x
,
y
)
(x,y)
(x,y)处，图像的亮度在
x
,
y
x,y
x,y方向的偏导数，亦即图像亮度的梯度。
I
t
′
I'_t
It′是图像亮度对时间的偏导数，而
I
t
′
Δ
t
I'_t \Delta_t
It′Δt表示的是两张图片（一般是相邻帧）之间
(
x
,
y
)
(x,y)
(x,y)坐标位置像素点亮度的变化量，可以表示为
Δ
I
t
=
I
t
′
Δ
t
\Delta I_t = I'_t\Delta _t
ΔIt=It′Δt。
u
,
v
u,v
u,v即为待估计的光流值。
I
x
′
,
I
y
′
,
Δ
I
t
I'_x,I'_y,\Delta I_t
Ix′,Iy′,ΔIt均可以通过对图像进行直接计算得到。而
u
,
v
u,v
u,v的求取仅有一个方程无法完成求解。
即： A x = b Ax=b Ax=b。对于这组等式，可以使用最小二乘法 ( x = ( A T A ) − 1 A T b ) (x=(A^TA)^{-1}A^Tb) (x=(ATA)−1ATb)近似估计的得到 [ u , v ] [u,v] [u,v]的解。但需要注意的是 ( A T A ) (A^TA) (ATA)需要时可逆的。
论文地址：https://arxiv.org/abs/1504.06852v2
基本思路：采用神经网络
E
n
d
−
t
o
−
E
n
d
End-to-End
End−to−End的优点，输入相邻帧的两张图片，通过一个卷积层组成的收缩部分提取各自的特征进行降维（收缩部分，encoder）；然后再经过一个通过反卷积部分进行升维（放大部分，decoder）。
收缩部分网络结构：
（1）方案一FlowNetSimple：直接将输入的两张图片合并在一起组合成一个
h
×
w
×
6
h\times w\times 6
h×w×6作为卷积层的输入。
（2）方案二FlowNetCoor：将两张输入图片分别进行卷积操作，得到图像特征，然后进行相关计算（一种简单的操作是：对应位置像素相乘求和，得到的值越大，代表越相关，即图像越接近。）合并信息。
放大部分：通过反卷积进行升维，各层反卷积运算的输入包括三个部分，第一部分包含层语义信息，第二部分包含低层局部信息，第三部分由前一层卷积的输出的光流上采样得到。
论文中作者使用欧式距离来定义 L o s s Loss Loss，称这种误差为 E P E ( E n d − P o i n t − E r r o r ) EPE(End-Point-Error) EPE(End−Point−Error)
论文地址：https://arxiv.org/abs/1612.01925
主要优化策略：网络的堆叠
后续FlowNet的输入不仅仅是两张图片（ I m a g e 1 Image1 Image1和 I m a g e 2 Image2 Image2），还包括前一个网络输入的光流估计Flow，和一张Warped图，再加一张亮度误差(Brightness Error)。其中Warped图为将估计的光流作用在 I m a g e 2 Image2 Image2上，即为使用估计的每个像素偏移，偏移 I m a g e 2 Image2 Image2的每一个像素，使其与 I m a g e 1 Image1 Image1对齐。虽然作用了光流偏移，由于光流估计的不够准确，Warped图和 I m a g e 1 Image1 Image1依然存在一定的偏差， I m a g e 1 Image1 Image1的亮度减去Warped图的亮度，即可得到亮度误差(BrightnessError)图。
