最小二乘法与极大似然估计

最小二乘法：

最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小。比如下图，我们有三个样本点，如何划出他的线性回归直线呢？那我们就可以找到一条直线，这条直线到三个样本点的距离的平方和是最小的。这就是最小二乘法。公式如下。

极大似然估计：

对于极大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。

在最大似然法中，通过选择参数，使已知数据在某种意义下最有可能出现，而某种意义通常指似然函数最大，而似然函数又往往指数据的概率分布函数。与最小二乘法不同的是，最大似然法需要已知这个概率分布函数，这在时间中是很困难的。一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计相同。

二者的举例说明参考知乎：https://www.zhihu.com/question/20447622