最小二乘法

Least Mean Squares是进行线性回归的常用方法。它选择的回归模型应该使所有观察值的误差平方和达到最小。
一元线性样本回归模型如公式所示：

Yi=A^Xi+B^+ei

ei=Yi−A^Xi−B^[1]

即求一组A,B使得∑ni=1e2i最小时，直线Y=AX+B是拟合观察值的最优解。
设

Q(A^,B^)=∑i=1n(Yi−A^Xi−B^)2

对A^,B^分别求偏导，得到：

∂Q∂A^=∑i=1n(Yi−A^Xi−B^)(−Xi)[2]

∂Q∂B^=∑i=1n(Yi−A^Xi−B^)(−1)[3]

使Q最小，即求两个变量偏导为0。由[2][3]展开、移项得：

∑i=1nX2iA^+∑i=1nXiB^=∑i=1nXiYi[4]

∑i=1nXiA^+nB^=∑i=1nYi[5]

联立[4][5] 求解，得到直线方程。