logistic回归详解二:损失函数
来源:互联网 发布:深入php内核 编辑:程序博客网 时间:2024/05/21 08:03
有监督学习
机器学习分为有监督学习,无监督学习,半监督学习,强化学习。对于逻辑回归来说,就是一种典型的有监督学习。
既然是有监督学习,训练集自然可以用如下方式表述:
对于这m个训练样本,每个样本本身有n维特征。再加上一个偏置项
其中
李航博士在统计学习方法一书中给分类问题做了如下定义:
分类是监督学习的一个核心问题,在监督学习中,当输出变量Y取有限个离散值时,预测问题便成为分类问题。这时,输入变量X可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数,称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction),称为分类(classification).
在logistic回归详解一(http://blog.csdn.net/bitcarmanlee/article/details/51154481)中,我们花了一整篇篇幅阐述了为什么要使用logistic函数:
其中一个重要的原因,就是要将Hypothesis(NG课程里的说法)的输出映射到0与1之间,既:
同样是李航博士统计学习方法一书中,有以下描述:
统计学习方法都是由模型,策略,和算法构成的,即统计学习方法由三要素构成,可以简单表示为:
对于logistic回归来说,模型自然就是logistic回归,策略最常用的方法是用一个损失函数(loss function)或代价函数(cost function)来度量预测错误程度,算法则是求解过程,后期会详细描述相关的优化算法。
logistic函数求导
此求导公式在后续推导中会使用到
常见的损失函数
机器学习或者统计机器学习常见的损失函数如下:
1.0-1损失函数 (0-1 loss function)
2.平方损失函数(quadratic loss function)
3.绝对值损失函数(absolute loss function)
4.对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likehood loss function)
逻辑回归中,采用的则是对数损失函数。如果损失函数越小,表示模型越好。
说说对数损失函数与平方损失函数
在逻辑回归的推导中国,我们假设样本是服从伯努利分布(0-1分布)的,然后求得满足该分布的似然函数,最终求该似然函数的极大值。整体的思想就是求极大似然函数的思想。而取对数,只是为了方便我们的在求MLE(Maximum Likelihood Estimation)过程中采取的一种数学手段而已。
损失函数详解
根据上面的内容,我们可以得到逻辑回归的对数似然损失函数cost function:
稍微解释下这个损失函数,或者说解释下对数似然损失函数:
当y=1时,假定这个样本为正类。如果此时
但是如果此时预测的概率
当y=0时,推理过程跟上述完全一致,不再累赘。
将以上两个表达式合并为一个,则单个样本的损失函数可以描述为:
因为
全体样本的损失函数可以表示为:
这就是逻辑回归最终的损失函数表达式
- logistic回归详解二:损失函数
- logistic回归详解(二):损失函数(cost function)详解
- 2.3logistic回归损失函数
- Logistic回归损失函数证明
- 逻辑回归-损失函数详解
- Logistic回归-模型·损失函数·参数更新
- logistic regession 损失函数
- Logistic 损失函数
- logistic回归详解一:为什么要使用logistic函数
- logistic回归详解一:为什么要使用logistic函数
- Logistic Regression 损失函数理解
- sklearn(scikit-learn) logistic regression loss(cost) function(sklearn中逻辑回归的损失函数)
- Logistic函数与Logistic回归
- logistic 回归(二)
- Logistic回归原理详解
- logistic回归代价函数
- Logistic回归:成本函数
- 线形回归与损失函数
- delta coding入门
- Python实现文件拷贝和解开权限
- ACM: Simple Line Editor
- Linux环境进程间通信
- 冒泡排序法(BubbleSort)的改进以及效率比较
- logistic回归详解二:损失函数
- kafka总结
- c# datatable数据合并方法
- mysql的模糊查询以及时间类型整理
- javascript的面向对象详解
- Mathtype复制到word中行距变大问题解决方案
- python3 冒泡排序
- Android Studio导入源码
- 88. Merge Sorted Array 167. Two Sum II