最小二乘法简介

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

假设X[i]为输入的第i个样本向量，y[i]为对应第i个样本的观测值，

那么the least squared error 实际上是使（g(x[i])-y[i]）的平方和最小，其中g（x[i]）为猜测函数，其中含有一些未知参数。

为什么要使用最小二乘法拟合数据？

1.最小二乘法在多数情况下相对来说容易求导计算，特别是使用误差绝对值之和时，在求导的时候会面临诸多的困难，当然使用其他形式相对来说都不是很简洁

2.在预测值与观测值相差比较大的时候，平方相当于提供了较大的权值，也就是说在偏差较大时，给予了预测函数较大的惩罚值（penalty），这显得更合理一些

3.the least squared error实际上是对猜测函数的极大似然估计。实际上，我们观测的数据总会存在一些误差，在这里我们可以假设一种理想情况，那就是我们未考虑的因素，对结果产生的误差均值为0，另外服从正太分布或者说服从高斯分布，实际上，现实世界特别复杂，我们未能考虑的因素会很多很多，这些因素叠加起来会对结果产生均值为0且服从正太分布的偏移，计算每个样本点与隐藏实际值的概率密度，并求极大似然函数，当你列下这些式子之后，你会发现这和the least squared error函数是等价的。

 虽然上述理由都有其本身一定的道理，但是我更喜欢第三个原因，虽然第三个原因假设了一种理想情况，虽然这与实际不符，但是却极其接近实际情况。特别是当建立了正确的参数模型时，结合观测数据拟合时其结果往往非常理想。