EM期望最大化

极大似然估计
极大似然估计方法是一种参数估计方法
·是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值
·原理：一个随机试验如果有若干个可能的结果A，B,C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大
思想：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，以干脆就把这个参数作为估计的真实值
设总体X是离散型随机变量，其分布中含有未知参数，设X (X1，X2,…Xn）是取自总体X的一个样本， (X1，X2,…Xn）是其观察值。则取到这组样本观察值的概率是：
定义似然函数为：
这里X1，X2,…Xn是观测值，且独立同分布，L（）看做参数的函数，它可以作为
已多大可能性产生值X1，X2,…Xn的一种度量。