EM算法也称期望最大化（Expectation-Maximum,简称EM）算法。
它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）等等。
EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，
所以算法被称为EM算法（Expectation-Maximization Algorithm）。
EM算法受到缺失思想影响，最初是为了解决数据缺失情况下的参数估计问题，其算法基础和收敛有效性等问题在Dempster、Laird和Rubin三人于1977年所做的文章《Maximum likelihood from incomplete data via the EM algorithm》中给出了详细的阐述。其基本思想是：
EM算法计算流程：
假如我们需要调查学校的男生和女生的身高分布 ，我们抽取100个男生和100个女生，将他们按照性别划分为两组。
然后，统计抽样得到100个男生的身高数据和100个女生的身高数据。
如果我们知道他们的身高服从正态分布，但是这个分布的均值 μ \mu μ 和方差 δ 2 \delta^2 δ2是不知道，这两个参数就是我们需要估计的。
问题：我们知道样本所服从的概率分布模型和一些样本，我们需要求解该模型的参数.
我们已知的条件有两个：
我们需要求解模型的参数。
根据已知条件，通过极大似然估计，求出未知参数。
总的来说：极大似然估计就是用来估计模型参数的统计学方法。
我们目前有100个男生和100个女生的身高，但是我们不知道这200个数据中哪个是男生的身高，哪个是女生的身高， 即抽取得到的每个样本都不知道是从哪个分布中抽取的。
这个时候，对于每个样本，就有两个未知量需要估计：
（1）这个身高数据是来自于男生数据集合还是来自于女生？
（2）男生、女生身高数据集的正态分布的参数分别是多少？
具体问题如下图：
对于具体的身高问题使用EM算法求解步骤如下：
（1）初始化参数： 先初始化男生身高的正态分布的参数：如均值=1.65，方差=0.15；
（2）计算分布： 计算每一个人更可能属于男生分布或者女生分布；
（3）重新估计参数： 通过分为男生的n个人来重新估计男生身高分布的参数（最大似然估计），女生分布也按照相同的方式估计出来，更新分布。
（4）这时候两个分布的概率也变了，然后重复步骤（1）至（3），直到参数不发生变化为止。
假设现在有两枚硬币1和2，,随机抛掷后正面朝上概率分别为P1，P2。为了估计这两个概率，做实验，每次取一枚硬币，连掷5下，记录下结果，如下：
| 硬币 | 结果 | 统计 |
|---|---|---|
| 1 | 正正反正反 | 3正-2反 |
| 2 | 反反正正反 | 2正-3反 |
| 1 | 正反反反反 | 1正-4反 |
| 2 | 正反反正正 | 3正-2反 |
| 1 | 反正正反反 | 2正-3反 |
可以很容易地估计出P1和P2，如下：
P1 = （3+1+2）/ 15 = 0.4
P2= （2+3）/10 = 0.5
到这里，一切似乎很美好，下面我们加大难度。
还是上面的问题，现在我们抹去每轮投掷时使用的硬币标记，如下：
| 硬币 | 结果 | 统计 |
|---|---|---|
| Unknown | 正正反正反 | 3正-2反 |
| Unknown | 反反正正反 | 2正-3反 |
| Unknown | 正反反反反 | 1正-4反 |
| Unknown | 正反反正正 | 3正-2反 |
| Unknown | 反正正反反 | 2正-3反 |
好了，现在我们的目标没变，还是估计P1和P2，要怎么做呢？
显然，此时我们多了一个隐变量z，可以把它认为是一个5维的向量（z1,z2,z3,z4,z5)，代表每次投掷时所使用的硬币，比如z1，就代表第一轮投掷时使用的硬币是1还是2。但是，这个变量z不知道，就无法去估计P1和P2，所以，我们必须先估计出z，然后才能进一步估计P1和P2。
但要估计z，我们又得知道P1和P2，这样我们才能用最大似然概率法则去估计z，这不是鸡生蛋和蛋生鸡的问题吗，如何破？
答案就是先随机初始化一个P1和P2，用它来估计z，然后基于z，还是按照最大似然概率法则去估计新的P1和P2，如果新的P1和P2和我们初始化的P1和P2一样，请问这说明了什么？（此处思考1分钟）
这说明我们初始化的P1和P2是一个相当靠谱的估计！
就是说，我们初始化的P1和P2，按照最大似然概率就可以估计出z，然后基于z，按照最大似然概率可以反过来估计出P1和P2，当与我们初始化的P1和P2一样时，说明是P1和P2很有可能就是真实的值。这里面包含了两个交互的最大似然估计。
如果新估计出来的P1和P2和我们初始化的值差别很大，怎么办呢？就是继续用新的P1和P2迭代，直至收敛。
这就是下面的EM初级版。
EM算法的实现思路：
上一篇：机器学习：支持向量机
下一篇：机器学习：HMM模型
