最小二乘法

最小二乘法为一种优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配，使结果接近最优解，找出最能反映x,y之间关系规律的直线(函数)。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法求解的核心为：

1. 列出误差方程
2. 求最小化误差方程

误差方程：用目标函数减去拟合函数，再取其平方即可。用平方和寻找最短距离。相比于绝对值的方法，平方和的方法可以得到更短的距离，使得拟合函数更接近于目标函数。其实就是从范数的角度考虑这个问题，绝对值对应的是1范数，最小二乘对应的就是2范数。

范数：常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。
向量范数：

• 1范数： ，向量元素绝对值之和。
• 2范数： ，向量元素绝对值的平均和再开方。

矩阵范数：

• 1范数： ，列和范数，即所有矩阵列向量绝对值之和的最大值。

• 2范数： ，谱范数，即A’A矩阵的最大特征值的开平方

最小误差函数：
最小二乘的误差函数形式多样，但解决方法与求一元二次方程极值的方法相同。就是将原来对变量求导，变成了对向量求偏导（就是在向量某一个维度上的导数）。如果不是对向量求导，而是对函数求导，就是复变函数的变分法（可见都是换汤不换药，思想不变，重要的区别是求导对象不同）。求导之后，就使另求导的式子为0，解出极值点。再判断该极值点是极大值点还是极小值点，这样就得到了使误差函数最小化的向量值。到此，就完成了最小二乘法。