最小二乘法

最小二乘拟合直线方程：y=ax+b，就是线性回归。(n代表样本数量）。误差函数为：

e=∑(yi-axi-b)^2，各偏导为：

de/da=-2∑(yi-axi-b)xi=0
de/db=-2∑(yi-axi-b)=0

于是得到关于a,b的线性方程组：

∑(xi^2)*a+(∑xi)*b=∑yixi
(∑xi)*a+n*b=∑yi

设A=∑xi^2,B=∑xi,C=∑yixi,D=∑yi，则方程化为：

Aa+Bb=C
Ba+nb=D

解出a,b得：

a=(Cn-BD)/(An-BB)
b=(AD-CB)/(An-BB)
这就是我们要进行的算法。