最小二乘法详解（线性拟合与非线性拟合）



         监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面.

  对于一元线性回归模型，参数估计采用最小二乘法：

       最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

      曲线拟合分为线性拟合与非线性拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

详见链接http://baike.baidu.com/link?url=nLYEuRNDwD1-CmOYfPYtV61lNbqGXeTe97Tpr4juj3sY0lsWDETsqOKMKM7H9JR7V72DocfTY6WFxDq_hig2zq

http://blog.csdn.net/qll125596718/article/details/8248249，含最小二乘实现代码c++

非线性拟合

讲解[a,Jm]=lsqcurvefit(fun,a0,x,y)（最好举例）各个符号的意思

非线性曲线拟合是已知输入向量xdata和输出向量ydata，并且知道输入与输出的函数关系为ydata=F(x, xdata)，但不知道系数向量x。今进行曲线拟合，求x使得输出的如下最小二乘表达式成立：
min Σ(F(x,xdatai)-ydatai)^2

函数  lsqcurvefit
格式  x = lsqcurvefit(fun,x0,xdata,ydata)
x = lsqcurvefit(fun,x0,xdata,ydata,lb,ub)
x = lsqcurvefit(fun,x0,xdata,ydata,lb,ub,options)
[x,resnorm] = lsqcurvefit(…)
[x,resnorm,residual] = lsqcurvefit(…)
[x,resnorm,residual,exitflag] = lsqcurvefit(…)
[x,resnorm,residual,exitflag,output] = lsqcurvefit(…)
[x,resnorm,residual,exitflag,output,lambda] = lsqcurvefit(…)
[x,resnorm,residual,exitflag,output,lambda,jacobian] =lsqcurvefit(…)
参数说明：
x0为初始解向量；xdata，ydata为满足关系ydata=F(x, xdata)的数据；
lb、ub为解向量的下界和上界lb≤x≤ub，若没有指定界，则lb=[ ]，ub=[ ]；
options为指定的优化参数；
fun为待拟合函数，计算x处拟合函数值，其定义为     function F = myfun(x,xdata)
resnorm=sum ((fun(x,xdata)-ydata).^2)，即在x处残差的平方和；
residual=fun(x,xdata)-ydata，即在x处的残差；
exitflag为终止迭代的条件；
output为输出的优化信息；
lambda为解x处的Lagrange乘子；
jacobian为解x处拟合函数fun的jacobian矩阵。

例 求解如下最小二乘非线性拟合问题
已知输入向量xdata和输出向量ydata，且长度都是n，待拟合函数的表达式为
ydata(i)=x(1)-xdata(i)^2+x(2)-sin(xdata(i))+x(3)-xdata^3

即目标函数为min Σ(F(x,xdata(i))-ydata(i))^2
其中：F(x,xdata) = x(1)*xdata^2 + x(2)*sin(xdata) + x(3)*xdata^3
初始解向量为x0=[0.3, 0.4, 0.1]，即表达式的 个参数[x(1),x(2),x(3)]。
解：先建立拟合函数文件，并保存为myfun.m
function F = myfun(x,xdata)
F = x(1)*xdata.^2 + x(2)*sin(xdata) + x(3)*xdata.^3;
然后给出数据xdata和ydata
>>xdata = [3.6 7.7 9.3 4.1 8.6 2.8 1.3 7.9 10.0 5.4];
>>ydata = [16.5 150.6 263.1 24.7 208.5 9.9 2.7 163.9 325.0 54.3];
>>x0 = [10, 10, 10];    %初始估计值
>>[x,resnorm] = lsqcurvefit(@myfun,x0,xdata,ydata)
结果为：
Optimization terminated successfully:
Relative function value changing by less than OPTIONS.TolFun
x = 0.2269    0.3385    0.3021
=>即解出的系数最优估计值
resnorm =      6.2950
＝>在x解值处的目标最小二乘表达式值。即所谓残差。

残差是指观测值与预测值（拟合值）之间的差，即是实际观察值与回归估计值的差。

参考链接：http://zhidao.baidu.com/link?url=LTDMKaclYQT14clDdzKlGmvZ-w8NBFda0B5L8SsNpqFspugKJAK_jO66CcPe3pTfcD1bOmJnMJBSbDXxti2z6q