极大似然估计

很长时间都知道极大似然估计这么个事，最令我头疼的时候是考研时，数学最后一题铁定是估计与假设检验，当时的策略就是背公式，能算出来就是胜利。然后到了研究生阶段，到处都能看到它的身影，由于不是数学专业出身，而且可能是上课听讲不认真等因素，对其一直是一知半解。在此我也只是说一下比较直白的理解，并不会摆很多公式。

首先，我们必须知道，统计理论里面的描述统计和推断统计。
描述统计，是我们从小就接触的，给你全部的数据，你给我算均值、方差等，你具有数据的全部信息，而我们需要用数据的一些特征来描述它，使其直观。
而推断统计下，我们并没有全部的数据，而我们想从这些能观察到的数据去推断所有数据的情况。

大数定理

假设我们有n个独立同分布的变量X1,X2,X3...Xn,可以假设它们都遵从分布 X，其平均值Z定义为Zn=X1+X2+X3..+Xnn，因为Xn为随机变量，所以Z也为随机变量，而期望值μ可以看作是对分布X而言，它是一个客观存在的,即对于所有Xn都有E(Xn)=μ.所以对于随机变量Z有E(Zn)=μ。
所以我们由观测值算得的方差为V[Zn]=V[X1+X2+X3..+Xnn]=σ2n，当n趋近于无穷大时，方差为0(方差为0表示不含随机性，即平均值不会产生波动)，平均值收敛于μ。这就是所谓的大叔定理，即我们通过观察值可以推断出期望值，前提是随机变量遵从i.i.d。（当然涉及到随机变量的东西都很恼火，所以说Xn的理解非常重要）

极大似然估计

首先要确定，我们要估计的是什么，我们用什么来估计。

我们用观测到的样本值来估计该分布的模型
因为我们可以假设实际观测值与真是分布相关，并且观测值取值随机所以得到的估计量也是随机。

其中，没有给出具体的函数形式的问题为非参数统计，期望值与方差不确定但遵循正太分布的问题为参数统计问题。这里可以理解为，是否给出一个分布的模型。

然后下面就要引出一个重要的东西
有限维数的向量值参数θ，而我们就是要通过X（已有的观测值）来估计它。之前之所以不理解极大似然估计等一些估计方法，就是不理解θ，就觉得莫名其妙为什么多了个参数给我。其实，θ就是决定模型的参数。在对正态分布模型进行估计时θ=（μ,σ）,对于其他非正态分布模型，也是其关键参数。

设数据X1,X2...Xn的测定值为x1,x2...xn
使该公式P(Xi=xi)概率最大化的参数θ就是最大似然估计，对这个地方的理解我觉得很重要，就是，我所估计的一个模型，需要最大可能性的表征（或者满足）我已测到的值。

然后就是对P(Xi=xi)求对数似然L(θ)，通过对θ中各个参数求偏导因此可以得到满足P(Xi=xi)的参数θ，因此确定了分布模型。