最小方差估计(最小均方误差MMSE,也称条件期望估计)
使方差最小即:
X
:
系
统
状
态
量
X:系统状态量
X:系统状态量
V
:
干
扰
噪
声
V:干扰噪声
V:干扰噪声
X
~
:
估
计
值
与
系
统
状
态
误
差
\tilde{X}:估计值与系统状态误差
X~:估计值与系统状态误差
E
X
:
数
学
期
望
E_X:数学期望
EX:数学期望
M
M
S
E
[
X
^
]
=
M
S
E
[
X
^
]
m
i
n
=
t
r
(
E
[
X
~
X
~
T
]
)
m
i
n
MMSE[\hat X]=MSE[\hat X]_{min}=tr(E[\tilde{X}\tilde{X}^T])_{min}
MMSE[X^]=MSE[X^]min=tr(E[X~X~T])min
M
S
E
[
X
^
]
=
E
[
[
X
−
X
^
]
[
X
−
X
^
]
]
=
∫
−
∞
∞
∫
−
∞
∞
[
x
−
X
^
(
z
)
]
T
[
x
−
X
^
(
z
)
]
p
(
x
,
z
)
d
x
d
z
=
∫
−
∞
∞
∫
−
∞
∞
[
x
−
X
^
(
z
)
]
T
[
x
−
X
^
(
z
)
]
p
(
x
∣
z
)
p
(
z
)
d
x
d
z
=
∫
−
∞
∞
P
z
(
z
)
{
x
T
x
p
(
x
∣
z
)
d
x
−
2
X
^
(
z
)
∫
−
∞
∞
x
p
(
x
∣
z
)
d
x
+
X
^
(
z
)
T
X
^
(
z
)
∫
−
∞
∞
p
(
x
∣
z
)
d
}
d
z
=
∫
−
∞
∞
P
z
(
z
)
{
E
X
[
X
T
X
∣
z
]
−
2
X
^
(
z
)
E
X
[
X
∣
z
]
+
X
^
(
z
)
T
X
^
(
z
)
}
d
z
=
∫
−
∞
∞
P
z
(
z
)
{
E
X
[
X
T
X
∣
z
]
−
E
X
T
[
X
∣
z
]
E
X
[
X
∣
z
]
E
X
T
[
X
∣
z
]
E
X
[
X
∣
z
]
−
2
X
^
(
z
)
E
X
[
X
∣
z
]
+
X
^
(
z
)
T
X
^
(
z
)
}
d
z
=
∫
−
∞
∞
P
z
(
z
)
{
E
X
[
X
T
X
∣
z
]
−
E
X
T
[
X
∣
z
]
E
X
[
X
∣
z
]
}
d
z
+
∫
−
∞
∞
P
z
(
z
)
[
E
X
[
X
∣
z
]
−
X
^
(
z
)
]
T
[
E
X
[
X
∣
z
]
−
X
^
(
z
)
]
d
z
MSE[\hat X]=E[[X-\hat X][X-\hat X]] \\ =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}[x-\hat X(z)]^T[x-\hat X(z)]p(x,z)dxdz\\ =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}[x-\hat X(z)]^T[x-\hat X(z)]p(x|z)p(z)dxdz\\ =\int_{-\infty}^{\infty}P_z(z)\{x^Txp(x|z)dx-2\hat X(z)\int_{-\infty}^{\infty} xp(x|z)dx+\hat X(z)^T\hat X(z)\int_{-\infty}^{\infty}p(x|z)d\}dz\\ =\int_{-\infty}^{\infty}P_z(z)\{E_X[X^TX|z]-2\hat X(z)E_X[X|z]+\hat X(z)^T\hat X(z)\}dz\\ =\int_{-\infty}^{\infty}P_z(z)\{E_X[X^TX|z]-E^T_X[X|z]E_X[X|z]E^T_X[X|z]E_X[X|z]-2\hat X(z)E_X[X|z]+\hat X(z)^T\hat X(z)\}dz \\ =\int_{-\infty}^{\infty}P_z(z)\{E_X[X^TX|z]-E^T_X[X|z]E_X[X|z]\}dz +\int_{-\infty}^{\infty}P_z(z)[E_X[X|z]-\hat X(z)]^T[E_X[X|z]-\hat X(z)]dz
MSE[X^]=E[[X−X^][X−X^]]=∫−∞∞∫−∞∞[x−X^(z)]T[x−X^(z)]p(x,z)dxdz=∫−∞∞∫−∞∞[x−X^(z)]T[x−X^(z)]p(x∣z)p(z)dxdz=∫−∞∞Pz(z){xTxp(x∣z)dx−2X^(z)∫−∞∞xp(x∣z)dx+X^(z)TX^(z)∫−∞∞p(x∣z)d}dz=∫−∞∞Pz(z){EX[XTX∣z]−2X^(z)EX[X∣z]+X^(z)TX^(z)}dz=∫−∞∞Pz(z){EX[XTX∣z]−EXT[X∣z]EX[X∣z]EXT[X∣z]EX[X∣z]−2X^(z)EX[X∣z]+X^(z)TX^(z)}dz=∫−∞∞Pz(z){EX[XTX∣z]−EXT[X∣z]EX[X∣z]}dz+∫−∞∞Pz(z)[EX[X∣z]−X^(z)]T[EX[X∣z]−X^(z)]dz
其中:
第一个式子
∫
−
∞
∞
P
z
(
z
)
{
E
X
[
X
T
X
∣
z
]
−
E
X
T
[
X
∣
z
]
E
X
[
X
∣
z
]
}
d
z
\int_{-\infty}^{\infty}P_z(z)\{E_X[X^TX|z]-E^T_X[X|z]E_X[X|z]\}dz
∫−∞∞Pz(z){EX[XTX∣z]−EXT[X∣z]EX[X∣z]}dz与
X
^
(
z
)
\hat X(z)
X^(z)无关;
P
Z
(
Z
)
P_Z(Z)
PZ(Z)为非负且不恒为0,
[
E
X
[
X
∣
z
]
−
X
^
(
z
)
]
T
[
E
X
[
X
∣
z
]
−
X
^
(
z
)
]
[E_X[X|z]-\hat X(z)]^T[E_X[X|z]-\hat X(z)]
[EX[X∣z]−X^(z)]T[EX[X∣z]−X^(z)]必定非负,想要协方差取最小值,必须满足:
E
X
[
X
∣
z
]
−
X
^
(
z
)
=
0
E_X[X|z]-\hat X(z)=0
EX[X∣z]−X^(z)=0
得到最小误差:
X
^
M
I
N
(
Z
)
=
E
[
X
∣
Z
]
\hat X_{MIN}(Z)=E[X|Z]
X^MIN(Z)=E[X∣Z]
得到最小方差求解:
p
Z
(
z
)
:
边
缘
密
度
函
数
p_Z(z):边缘密度函数
pZ(z):边缘密度函数
p
(
x
,
z
)
:
条
件
概
率
密
度
函
数
p(x,z):条件概率密度函数
p(x,z):条件概率密度函数
X
^
(
z
)
=
E
X
[
X
∣
Z
]
=
∫
−
∞
∞
x
p
(
x
∣
z
)
d
x
=
∫
−
∞
∞
x
p
(
x
,
z
)
p
Z
(
z
)
d
x
\hat X(z)=E_X[X|Z]=\int_{-\infty}^{\infty}xp(x|z)dx=\int_{-\infty}^{\infty}x\frac{p(x,z)}{p_Z(z)}dx
X^(z)=EX[X∣Z]=∫−∞∞xp(x∣z)dx=∫−∞∞xpZ(z)p(x,z)dx
得到最小方差求解的简化(假设估计量和观测量都符合正太分布):
实际中,
p
Z
(
z
)
:
边
缘
密
度
函
数
p_Z(z):边缘密度函数
pZ(z):边缘密度函数,
p
(
x
,
z
)
:
条
件
概
率
密
度
函
数
p(x,z):条件概率密度函数
p(x,z):条件概率密度函数很难得到,假设观测量与被测量都符合正太分布:
C
:
协
防
差
矩
阵
C:协防差矩阵
C:协防差矩阵
m
:
均
值
m:均值
m:均值
Y
∼
N
(
m
Y
,
C
Y
)
Y
=
[
X
Z
]
,
m
Y
=
[
m
X
m
Z
]
,
C
Y
=
[
C
X
C
X
Z
C
Z
X
C
Z
]
C
X
Z
=
C
o
v
(
X
,
Z
)
=
C
o
v
T
(
Z
,
X
)
Y\sim N(m_Y,C_Y)\\ Y=\left[\begin{matrix} X\\Z\end{matrix} \right],m_Y=\left[\begin{matrix} m_X\\m_Z\end{matrix} \right],C_Y=\left[\begin{matrix} C_X&C_{XZ}\\C_{ZX}&C_Z\end{matrix} \right] \\ C_{XZ}=Cov(X,Z)=Cov^T(Z,X)
Y∼N(mY,CY)Y=[XZ],mY=[mXmZ],CY=[CXCZXCXZCZ]CXZ=Cov(X,Z)=CovT(Z,X)
Y的正太分布密度函数为:
∣
C
Y
∣
=
d
e
t
(
C
Y
)
|C_Y|^=det(C_Y)
∣CY∣=det(CY)
p
(
y
)
=
p
(
x
,
z
)
=
1
(
2
π
)
(
n
+
m
)
/
2
∣
C
Y
∣
1
/
2
e
−
1
2
(
y
−
m
Y
)
T
C
Y
−
1
(
y
−
m
Y
)
p(y)=p(x,z)=\frac{1}{(2\pi)^{(n+m)/2}|C_Y|^{1/2}}e^{-\frac 1 2(y-m_Y)^TC_Y^{-1}(y-m_Y)}
p(y)=p(x,z)=(2π)(n+m)/2∣CY∣1/21e−21(y−mY)TCY−1(y−mY)
已知:
m
X
∣
Z
=
m
X
+
C
X
Z
C
Z
−
1
(
z
−
m
Z
)
m_{X|Z}=m_X+C_{XZ}C_{Z}^{-1}(z-m_Z)
mX∣Z=mX+CXZCZ−1(z−mZ)
C
X
∣
Z
=
C
X
−
C
X
Z
C
Z
−
1
C
Z
X
C_{X|Z}=C_X-C_{XZ}C_Z^{-1}C_{ZX}
CX∣Z=CX−CXZCZ−1CZX
可以得到(推导略):
p
(
x
,
z
)
=
1
(
2
π
)
n
/
2
∣
C
X
∣
Z
∣
1
/
2
e
−
1
2
(
x
−
m
X
∣
Z
)
T
C
X
∣
Z
−
1
(
x
−
m
X
∣
Z
)
×
p
Z
(
z
)
p
Z
(
z
)
=
∫
−
∞
∞
p
(
x
,
z
)
d
x
=
1
(
2
π
)
m
/
2
∣
C
X
∣
Z
∣
1
/
2
e
−
1
2
(
x
−
m
Z
)
T
C
Z
−
1
(
x
−
m
Z
)
p
(
x
∣
z
)
=
1
(
2
π
)
n
/
2
∣
C
X
∣
Z
∣
1
/
2
e
−
1
2
(
x
−
m
X
∣
Z
)
T
C
X
∣
Z
−
1
(
x
−
m
X
∣
Z
)
p(x,z)=\frac{1}{(2\pi)^{n/2}|C_{X|Z}|^{1/2}}e^{-\frac 1 2(x-m_{X|Z})^TC_{X|Z}^{-1}(x-m_{X|Z})}×p_Z(z)\\ p_Z(z)=\int_{-\infty}^{\infty}p(x,z)dx=\frac{1}{(2\pi)^{m/2}|C_{X|Z}|^{1/2}}e^{-\frac 1 2(x-m_{Z})^TC_{Z}^{-1}(x-m_{Z})}\\ p(x|z)=\frac{1}{(2\pi)^{n/2}|C_{X|Z}|^{1/2}}e^{-\frac 1 2(x-m_{X|Z})^TC_{X|Z}^{-1}(x-m_{X|Z})}
p(x,z)=(2π)n/2∣CX∣Z∣1/21e−21(x−mX∣Z)TCX∣Z−1(x−mX∣Z)×pZ(z)pZ(z)=∫−∞∞p(x,z)dx=(2π)m/2∣CX∣Z∣1/21e−21(x−mZ)TCZ−1(x−mZ)p(x∣z)=(2π)n/2∣CX∣Z∣1/21e−21(x−mX∣Z)TCX∣Z−1(x−mX∣Z)
得到正太分布的最小均值和方差矩阵为:
最
小
均
值
:
X
^
M
V
=
X
^
M
I
N
(
Z
)
=
E
[
X
∣
Z
]
=
∫
−
∞
∞
x
p
(
x
∣
z
)
d
z
=
m
X
∣
Z
=
m
X
+
C
X
Z
C
Z
−
1
(
z
−
m
z
)
最小均值:\hat X_{MV}=\hat X_{MIN}(Z)=E[X|Z]=\int_{-\infty}^{\infty}xp(x|z)dz=m_{X|Z}=m_X+C_{XZ}C_Z^{-1}(z-m_z)
最小均值:X^MV=X^MIN(Z)=E[X∣Z]=∫−∞∞xp(x∣z)dz=mX∣Z=mX+CXZCZ−1(z−mz)
方
差
:
E
[
X
~
M
V
X
~
M
V
T
]
=
∫
−
∞
∞
C
X
∣
Z
P
z
(
z
)
d
z
=
C
X
−
C
X
Z
C
Z
−
1
C
Z
X
方差:E[\tilde{X}_{MV}\tilde{X}_{MV}^T]=\int_{-\infty}^{\infty}C_{X|Z}P_z(z)dz=C_X-C_{XZ}C_Z^{-1}C_{ZX}
方差:E[X~MVX~MVT]=∫−∞∞CX∣ZPz(z)dz=CX−CXZCZ−1CZX
最小均方误差观测量与系统状态量的关系:
m
X
∣
Z
=
m
X
+
C
X
Z
C
Z
−
1
(
z
−
m
Z
)
m_{X|Z}=m_X+C_{XZ}C_{Z}^{-1}(z-m_Z)
mX∣Z=mX+CXZCZ−1(z−mZ)
C
X
∣
Z
=
C
X
−
C
X
Z
C
Z
−
1
C
Z
X
C_{X|Z}=C_X-C_{XZ}C_Z^{-1}C_{ZX}
CX∣Z=CX−CXZCZ−1CZX
当
C
X
∣
Z
−
>
0
(
或
C
Z
−
>
∞
)
C_{X|Z}->0(或C_Z->\infty)
CX∣Z−>0(或CZ−>∞),
m
X
∣
Z
−
>
m
X
m_{X|Z}->m_X
mX∣Z−>mX,此时观测量与状态量相关性很小,m_X越等于最好估计。
C
X
∣
Z
=
C
X
−
C
X
Z
C
Z
−
1
C
Z
X
<
C
X
C_{X|Z}=C_X-C_{XZ}C_Z^{-1}C_{ZX}<C_X
CX∣Z=CX−CXZCZ−1CZX<CX引入观测后,不确定比
C
X
(
先
验
误
差
)
C_X(先验误差)
CX(先验误差)降低了
线性最小方差估计(LMV)
精度不如MMSE,但计算量小,对于正太分布相性最小方差等价与最小均方误差估计。
无论观测模型是线性的还是非线性的,均使用观测量的线性组合建模来对状态进行估计。
指标函数为:
L
M
V
(
X
)
=
E
[
X
~
T
X
~
]
∣
x
^
=
x
^
L
M
V
LMV(X)=E[\tilde X^T \tilde X]|_{\hat x=\hat x_{LMV}}
LMV(X)=E[X~TX~]∣x^=x^LMV
线性模型:
X
^
=
A
Z
+
b
\hat X=AZ+b
X^=AZ+b
做变换
L
M
V
(
X
)
=
t
r
(
E
[
X
~
T
X
~
]
)
=
t
r
(
E
[
(
X
−
A
Z
−
b
)
(
X
−
A
Z
−
b
)
)
]
)
=
t
r
(
(
A
−
C
X
Z
C
Z
−
1
)
C
Z
(
A
−
C
X
Z
C
Z
−
1
)
T
)
+
t
r
(
C
X
−
C
X
Z
C
Z
−
1
C
Z
X
)
+
t
r
(
(
m
X
−
A
m
Z
−
b
)
(
m
X
−
A
m
Z
−
b
)
)
LMV(X)=tr(E[\tilde X^T \tilde X])=tr(E[(X-AZ-b)(X-AZ-b))]) \\ =tr((A-C_{XZ}C_Z^{-1})C_Z(A-C_{XZ}C_Z^{-1})^T)+tr(C_X-C_{XZ}C_Z^{-1}C_{ZX})+tr((m_X-Am_Z-b)(m_X-Am_Z-b))
LMV(X)=tr(E[X~TX~])=tr(E[(X−AZ−b)(X−AZ−b))])=tr((A−CXZCZ−1)CZ(A−CXZCZ−1)T)+tr(CX−CXZCZ−1CZX)+tr((mX−AmZ−b)(mX−AmZ−b))
可知:
(
A
−
C
X
Z
C
Z
−
1
)
C
Z
(
A
−
C
X
Z
C
Z
−
1
)
T
(A-C_{XZ}C_Z^{-1})C_Z(A-C_{XZ}C_Z^{-1})^T
(A−CXZCZ−1)CZ(A−CXZCZ−1)T:非负
t
r
(
C
X
−
C
X
Z
C
Z
−
1
C
Z
X
)
tr(C_X-C_{XZ}C_Z^{-1}C_{ZX})
tr(CX−CXZCZ−1CZX):与待定系数无关
t
r
(
(
m
X
−
A
m
Z
−
b
)
(
m
X
−
A
m
Z
−
b
)
)
tr((m_X-Am_Z-b)(m_X-Am_Z-b))
tr((mX−AmZ−b)(mX−AmZ−b)):非负
想求的最小值只需
{
m
X
−
A
m
Z
−
b
=
0
A
−
C
X
Z
C
Z
−
1
=
0
\begin{cases} m_X-Am_Z-b=0&\\ A-C_{XZ}C_Z^{-1}=0\\ \end{cases}
{mX−AmZ−b=0A−CXZCZ−1=0
可解得:
A
=
C
X
Z
C
Z
−
1
,
b
=
m
X
−
C
X
Z
C
Z
−
1
m
Z
A=C_{XZ}C_Z^{-1},b=m_X-C_{XZ}C_Z^{-1}m_Z
A=CXZCZ−1,b=mX−CXZCZ−1mZ
得到最小方差的指标函数:
L
M
V
(
X
^
)
=
C
X
Z
C
Z
−
1
Z
+
m
X
−
C
X
Z
C
Z
−
1
m
Z
LMV(\hat X)=C_{XZ}C_Z^{-1}Z+m_X-C_{XZ}C_Z^{-1}m_Z
LMV(X^)=CXZCZ−1Z+mX−CXZCZ−1mZ
得到线性最小方差的期望:
E
Z
[
X
^
L
M
V
]
=
E
(
X
)
E_Z[\hat X_{LMV}]=E(X)
EZ[X^LMV]=E(X)
得到线性最小方差的协方差:
E
[
X
~
L
M
V
X
~
L
M
V
T
]
=
C
X
−
C
X
Z
C
Z
−
1
C
Z
X
E[\tilde X_{LMV} \tilde X_{LMV}^T]=C_X-C_{XZ}C_Z^{-1}C_{ZX}
E[X~LMVX~LMVT]=CX−CXZCZ−1CZX
观测量与系统状态量的关系:
C
o
v
(
X
~
L
M
V
,
Z
)
=
0
Cov(\tilde{X}_{LMV},Z)=0
Cov(X~LMV,Z)=0
这表明线性最小方差的估计量与观测量Z不相关
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)