最大似然估计和最小二乘法怎么理解？

最大似然函数的思想就是什么样的参数才能使我们观测到目前这组数据的概率是最大的。

最大似然估计和最小二乘法还有一大区别就是，最大似然估计是需要有分布假设的，属于参数统计，如果连分布函数都不知道，又怎么能列出似然函数呢？ 而最小二乘法则没有这个假设。

二者的相同之处是都把估计问题变成了最优化问题。但是最小二乘法是一个凸优化问题，最大似然估计不一定是。

最小二乘，其实就是最小方差。

先说结论：误差服从高斯分布的情况下， 最小二乘法等价于极大似然估计。

最大似然估计，就是利用已知的样本结果反推最有可能（最大概率）导致这样结果的参数值

例如：一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，我要求最有可能的黑白球之间的比例时，就采取最大似然估计法

一当模型满足某个分布，它的参数值我通过极大似然估计法求出来的话。比如正态分布中公式如下：

如果我通过极大似然估计，得到模型中参数 和 的值，那么这个模型的均值和方差以及其它所有的信息我们是不是就知道了呢。确实是这样的。

极大似然估计中采样需满足一个重要的假设，就是所有的采样都是独立同分布的。

假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。

我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球 再放回罐中。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？

很多人马上就有答案了：70%

1.极大似然估计：

训练样本是在众多数据中被你首次观察到的样本，这样的样本发生概率应该尽可能大才能这么顺利一下子就作为训练样本被你观察到。

2.最小二乘法

在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。

1. 最大似然估计

两个枪手一个是神枪手历史命中概率0.9，一个是新手历史命中概率0.1
十枪射击后发现中了九发，问应该是哪一个人射击的。

2. 最小二乘法

两把尺子一个误差厘米级的，一个误差毫米级的。量同样的物体10次，发现平均误差是一毫米，问应该是哪一把尺子量的。

最大似然是用来估计概率模型参数的，而最小二乘法是用来估计函数模型参数的。

极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为，参数是客观存在的，只是未知而矣。因此，频率派最关心极大似然函数，只要参数求出来了，给定自变量X，Y也就固定了