很多东西再看第二遍的时候，都有一种恍然大悟的感觉
现代控制理论中往往要通过观测值对系统内部结构参数进行估计，类似于我们常用的线性最小二乘法，举例：二维坐标（身高、年龄）给一堆的点，找俩参数，然后拟合一条直线 y = a x + b y=ax+b y=ax+b，确定 a a a和 b b b的过程中，就是参数估计。
现代控制理论中的经典参数估计包括：最小方差估计与线性最小方差估计、极大似然法与极大验后法、最小二乘估计与加权最小二乘估计、递推最小二乘估计。
本博文中讲到的线性最小方差估计：设估计值是观测值的线性函数，估计误差的方差为最小。
使用此方法，需要知道观测值 z z z和被估计值 x x x的一、二阶矩（包括期望、方差、协方差）。
其核心公式为：
x
^
=
a
z
+
b
\hat x=az+b
x^=az+b
根据估计误差的方程：
J
=
E
{
[
x
−
x
^
]
2
}
=
E
{
[
x
−
(
a
z
+
b
)
]
2
}
J=E \left\{ [x-\hat x]^2 \right\}=E \left\{ [x-(az+b)]^2 \right\}
J=E{[x−x^]2}=E{[x−(az+b)]2}
分别对
a
a
a和
b
b
b求偏导，令其为0，可以获得相应的值：
a
=
C
o
v
(
x
,
z
)
σ
z
2
a=\frac{Cov(x,z)}{\sigma_z^2}
a=σz2Cov(x,z)
b
=
m
x
−
a
m
z
b=m_x-am_z
b=mx−amz
OK，接着看正交定理。
上面提到，在求参数的偏导的时候，令其为0，也就是：
∂
J
∂
a
=
−
2
E
{
[
x
−
(
a
z
+
b
)
]
z
}
=
0
\frac {\partial J}{\partial a}=-2E \left\{ [x-(az+b)]z \right\}=0
∂a∂J=−2E{[x−(az+b)]z}=0
那么也就是
E
[
x
~
z
]
=
0
E[\tilde xz]=0
E[x~z]=0
也就是说我们所利用的信息就是
x
~
\tilde x
x~与
z
z
z的乘积的数学期望为0，概率论中称之为正交。
思考：为什么上面的情况就叫做正交呢？？？能不能直观的解释一下？？？
那么我们可以看到，如果把这两个随机变量
x
x
x与
z
z
z看作是空间中的两个向量。因此我们在利用线性最小方差估计的时候，就有如下的图：
我们所估计出来的
x
^
\hat x
x^是与
z
z
z共线的，那么什么时候其偏差最小呢，就是
x
~
=
x
−
x
^
\tilde x=x-\hat x
x~=x−x^与
z
z
z垂直的时候，这时候的偏差的长度是最短的，所以是
x
~
\tilde x
x~与
z
z
z正交，与正交定理吻合。
（注：不够严谨的地方望指正，谢谢?）
