线性回归和逻辑回归的损失函数

（1）线性回归的误差函数为什么是平方损失函数

 参考：http://blog.csdn.net/saltriver/article/details/57544704

设线性回归的预测函数h(x_i)，实际值为y_i  相应的误差为

所以有：y_i =h(x_i) +    （i = 1,2,3,..., n）

通常认为误差服从参数为的正态分布，即：

         

我们想要求出参数 使得该分布能够更好地表示 （i = 1,2,3,..., n），这就转化为了由已知样本（独立同分布的）和样本服从的分布，求其参数的问题，利用极大似然估计（使得样本的似然度最大），即极大似然函数为：

                                                                     

对上式取对数，得到对数似然函数为：

                                                              

针对 ，分别对和求偏导，并令其为0，可得：  

                                     

以上所求的是针对误差，我们当然希望误差越小越好，所以希望和 越小越好，即

                                                                                                              

                                                                                                             

                                                                                                           

由上式可以看出平方损失函数的形式。

（2）逻辑回归的损失函数为什么为对数损失函数

 

原理与上述线性回归的情况类似，都是利用了极大似然估计。

对于逻辑回归模型，假设服从伯努利分布(0-1分布)。

同样假设预测函数为：h(x_i)，实际值为y_i 

其中，  

                                                                      

我们希望当实际值为y_i 时，预测函数h(x_i)的值越大越好，采用极大似然估计，极大似然函数为：

                                                                     

取对数，得到对数似然函数为：

                                                             

由上面可知，逻辑回归直接将对数似然函数取负，将最大化对数似然函数  转化为为最小化 负的对数似然函数，即得到我们需要的损失函数，所以，逻辑回归模型并没有像线性回归那样求似然函数的极值。