损失函数

线性回归中的损失函数

用损失函数来度量预测系统的错误程度

线性回归模型

hθ(x)=θ0+θ1x

损失函数选用平方损失函数(线性回归的损失函数)

L(Y,h(X))=(Y−h(X))2

经验损失函数：

Rexp(h)=1m∑i=1mL(yi,h(xi))

实例：

已拥有如下点集（1，1），（2，2），（3，3）
为了简单选取模型hθ(x)=θx进行拟合,则关于θ的经验损失函数J(θ)表示为：

J(θ)=1m∑i=1m(yi−h(xi))2

将h(x)=θx与已知点集带入经验损失函数：

J(θ) =13[(1−θ)2+(2−2θ)2+(3−3θ)2]=143(θ−1)2

由化简式轻易可得当θ=1时，经验损失函数最小，minJ(θ)=0，带入得最到函数h(x)=x

实例拓展：

已然是线性回归，模型hθ(x)=θ0+θ1x
参数有两个：θ0,θ1
损失函数：J(θ0,θ1)=12m∑mi=1(hθ(xi)−yi)2
目标：minJ(θ0,θ1)