EM和最大似然函数

1，           最大似然（最大可能）函数，测得一组样本值sample，来估计参数，使得估计出来的参数能以最大可能产生这组样本值sample。

                         例如：每个样本相互独立的取得，那么取得样本xi的概率为p(xi,θ),其中θ为参数，可能是多个参数θ=(θ1,θ2...)，那么同时取得x1,x2......xn的概率为：

                   

                    

                      我们需要求出参数θ，使得L（θ）最大，可以对L（θ）的对数求导等。求出θ。

                      这就是最大似然估计。

2，            多维向量X=（x1,x2,x3.....xn）.组成的函数f(X)=X*X*X+...等。如果函数的 hessian矩阵是半正定的或者是正定的，那么函数是凸函数或者是严格凸函数。就像一个变量x的函数f(x)的二阶导数大于等于0，那么该函数是凸函数一样。

3，           EM算法：EM算法本质上也是求最大似然估计的参数。使概率最大。只是多了一个参数z，z为隐藏变量，z代表样本所属的类z1,z2....，即有多种分布，z不知从哪一种分布中取得                        的。

                 

                  Q是关于z的函数，不断的迭代求θ和Q，就可求得最大似然值。求得θ

                       如果是两个高斯分布构成的数据，就是估算哪两种高斯分布最大可能产生这些数据。