一般的，用Y表示观测随机变量的数据，Z表示隐随机变量的数据，Y和Z连在一起称为完全数据，只有观测数据Y称为不完全数据，假设给定观测数据Y，其概率分布为 P ( Y ∣ θ ) P(Y|θ) P(Y∣θ),那么不完全数据的似然函数就是 P ( Y ∣ θ ) P(Y|θ) P(Y∣θ)，对数似然函数是 L ( θ ) = l o g ( P ( Y ∣ θ ) ) L(θ) = log(P(Y|θ)) L(θ)=log(P(Y∣θ))，假设Y和Z的联合概率分布是 P ( Y , Z ∣ θ ) P(Y,Z|θ) P(Y,Z∣θ),那么完全数据的对数似然函数是 l o g P ( Y , Z ∣ θ ) logP(Y,Z|θ) logP(Y,Z∣θ)(给定参数对当前出现的现象评测概率)。
EM算法通过迭代求
L
(
θ
)
=
l
o
g
(
P
(
Y
∣
θ
)
)
L(θ) = log(P(Y|θ))
L(θ)=log(P(Y∣θ))的极大似然估计，每次迭代包括两步：E步，求期望，M步，求最大化，下面介绍EM算法的步骤：
