最小二乘法

概念

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

举例

例如最简单的一次函数y=kx+b，已知坐标轴上已知点(1,6),(2,5),(3,7),(4,10)，求经过这些点的图象的一次函数关系式。当然这条直线不可能经过每一个点,我们只要做到4个点到这条直线的距离的平方和最小即可,这这就需要用到最小二乘法的思想.然后就用线性拟合来求。一般只用于建模。

1k+b=6，2k+b=5，3k+b=7，4k+b=10

S(k,b)=[6−(1k+b)]2+[5−(2k+b)]2+[7−(3k+b)]2+[10−(4k+b)]2

最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值。最小值可以通过对 S(k,b)分别求 k 和 b 的偏导数，然后使它们等于零即可得到。

∂S∂k=0=8k+20b−56

∂S∂k=0=20k+60b−154

最后得到解 k=3.5,b=1.4 ，即直线 y=3.5x+1.4 为最佳拟合曲线。

规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。

---

应用

线性函数模型

典型的一类函数模型是线性函数模型。最简单的线性式是y=b0+b1x，矩阵式表示：

该式的解为： 和 y0=y¯−b1t¯ ，其中 t¯=1n∑ni=1ti 为t的算数平均值 .

小结

最小二乘法多用于得到回归方程的参数的一个最优估值。在统计学上，该估值可以很好的拟合训练样本。

最大似然估计是估计使得从模型中抽取样本的概率最大的参数，最小二乘法则是选择参数的函数曲线和观察值得平方法最小。下面归纳其相同点和不同点：

相同点： 根据给定的样本进行参数估计。当数据满足正态分布函数时，最大似然估计和最小二乘法是相同的。

不同点：
1.最大似然估计方法–最合理的参数估计量为使得从模型中抽取该n组样本观测值的概率最大；最小二乘估计法–得到使得模型能最好地拟合样本数据的参数估计量。
2.最大似然估计需要已知概率分布函数，而最小二乘法不需要。

注意：本文主要引用维基百科。