EM算法浅谈

1.主要思想：

       存在隐含变量。不能直接利用最大似然估计估计参数。

       通过迭代求得最大似然函数 。分为E步（求期望 ）和M步（求极大化）。 

       利用jensen不等式，得到参数极大似然函数的一个下界，然后逐渐放大下界 最后近似得到极大似然函数的最大值

       EM算法的关键：Q函数。 Q函数是极大似然函数关于未观测变量的条件概率分布的期望。算法就是在逐渐极大化Q函数。

                                     Q(theta,theta^i)=sigma(log(P(Y,Z|theta))P(Z|Y,theta^i))

2.算法过程：

       输入：观测变量数据Y,x分布 P(Y,Z)，条件概率P(Z|Y)

       输出：模型参数

       1.随机给定初始参数。theta^0

       2.计算Q(theta,theta^i)

       3.theta^i+1=argmax(Q)（对于theta）

       4.Q收敛输出模型参数theta^i  反之继续进行第二步

      说明：EM算法初值敏感。

3.应用实例（高斯混合模型）

      （1）参数为k个模型的期望 和方差以及  各个模型的权重

      （2）确定隐变量。这里隐变量为第j个观测值是否来自第k个模型。记作uj1...ujk

      （3）p(y,u|theta)

      （4）写出对数形式 log(p(y,u|theta))

      （5）求期望。写出Q函数（E步）

      （6）极大化Q函数。对参数求偏导，解得。（M步）