线性回归的损失函数与逻辑回归的损失函数
来源:互联网 发布:js修改css样式 生效 编辑:程序博客网 时间:2024/06/06 17:52
一、线性回归损失函数的两种解释
线性回归的损失函数是平方损失函数,为什么使用平方的形式,参考:线性回归损失函数为什么要用平方形式,讲得很清楚。
在线性回归中,对于训练数据样本
构建的损失函数是:
表示每一个训练点
这里的损失函数之所以使用平方形式,是使用了“最小二乘法”的思想,这里的“二乘”指的是用平方来度量观测点与估计点的距离(远近),“最小”指的是参数值要保证各个观测点与估计点的距离的平方和达到最小。
第二种解释是 极大似然估计误差的思想,暂时没搞明白,先保留。参考:http://blog.csdn.net/saltriver/article/details/57544704
二、逻辑回归的损失函数
逻辑回归的损失函数使用的是对数损失函数,而不是平方损失函数。平方损失函数是线性回归在假设样本满足高斯分布的条件下推导得到的,而逻辑回归假设样本服从伯努力分布(0-1分布)。
伯努利分布的概率质量函数pmf为:
1.对数损失函数的形式
伯努利分布的似然函数可以写成:
对数似然函数为:
其中的一项即为对数损失,在逻辑回归中可表示为:
其中
损失函数的图像如下所示:
2.直接根据对数损失函数的形式得到目标函数
逻辑回归
对数损失函数的标准形式为:
将逻辑回归的表达式带入对数损失函数中,可以得到:
将上式进行化简,可以得到最终的目标函数:
参考:
https://www.zhihu.com/question/27126057
http://blog.csdn.net/saltriver/article/details/63683092
http://blog.csdn.net/saltriver/article/details/57544704
0 0
- 线性回归与逻辑回归的损失函数选择
- 线性回归的损失函数与逻辑回归的损失函数
- 线性回归和逻辑回归的损失函数
- 线性回归、逻辑回归、损失函数
- 线性回归、逻辑回归、损失函数
- 线性回归、逻辑回归、损失函数
- 逻辑回归:损失函数与梯度下降
- 逻辑回归-损失函数详解
- 机器学习---之逻辑回归中损失函数的由来
- 线形回归与损失函数
- 逻辑回归为什么使用对数损失函数
- sklearn(scikit-learn) logistic regression loss(cost) function(sklearn中逻辑回归的损失函数)
- 2.3logistic回归损失函数
- Logistic回归损失函数证明
- 深层神经网络——分类、回归的损失函数
- 线性回归损失函数为什么要用平方形式
- 回归 ---- 线性回归,多元回归与逻辑回归的关系
- logistic回归详解二:损失函数
- mac android编译打包时OOM:java heap space的解决方法,亲测有效
- netstat命令(持续更新中)
- Git撤销&回滚操作
- haproxy开启日志
- eclipse实现SSL单/双向认证
- 线性回归的损失函数与逻辑回归的损失函数
- 连接数据库的几个步骤
- #if, #elif, #else, #endif 使用
- 序列化ObjectOutputStream(对象流)在同一文件追加对象问题
- poj 2080 Calendar
- x64内联汇编解决办法
- 实验 15 交换机基本配置
- Linux之正则表达式
- 缺省Servlet