逻辑回归——关于似然代价函数(补充)
来源:互联网 发布:网络金融部怎么样 编辑:程序博客网 时间:2024/06/01 17:56
有监督学习
机器学习分为有监督学习,无监督学习,半监督学习,强化学习。对于逻辑回归来说,就是一种典型的有监督学习。
既然是有监督学习,训练集自然可以用如下方式表述:
对于这m个训练样本,每个样本本身有n维特征。再加上一个偏置项
其中
李航博士在统计学习方法一书中给分类问题做了如下定义:
分类是监督学习的一个核心问题,在监督学习中,当输出变量Y取有限个离散值时,预测问题便成为分类问题。这时,输入变量X可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数,称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction),称为分类(classification).
在logistic回归详解一(http://blog.csdn.net/bitcarmanlee/article/details/51154481)中,我们花了一整篇篇幅阐述了为什么要使用logistic函数:
其中一个重要的原因,就是要将Hypothesis(NG课程里的说法)的输出映射到0与1之间,既:
同样是李航博士统计学习方法一书中,有以下描述:
统计学习方法都是由模型,策略,和算法构成的,即统计学习方法由三要素构成,可以简单表示为:
对于logistic回归来说,模型自然就是logistic回归,策略最常用的方法是用一个损失函数(loss function)或代价函数(cost function)来度量预测错误程度,算法则是求解过程,后期会详细描述相关的优化算法。
logistic函数求导
此求导公式在后续推导中会使用到
常见的损失函数
机器学习或者统计机器学习常见的损失函数如下:
1.0-1损失函数 (0-1 loss function)
2.平方损失函数(quadratic loss function)
3.绝对值损失函数(absolute loss function)
4.对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likehood loss function)
逻辑回归中,采用的则是对数损失函数。如果损失函数越小,表示模型越好。
说说对数损失函数与平方损失函数
在逻辑回归的推导中国,我们假设样本是服从伯努利分布(0-1分布)的,然后求得满足该分布的似然函数,最终求该似然函数的极大值。整体的思想就是求极大似然函数的思想。而取对数,只是为了方便我们的在求MLE(Maximum Likelihood Estimation)过程中采取的一种数学手段而已。
损失函数详解
根据上面的内容,我们可以得到逻辑回归的对数似然损失函数cost function:
稍微解释下这个损失函数,或者说解释下对数似然损失函数:
当y=1时,假定这个样本为正类。如果此时
但是如果此时预测的概率
当y=0时,推理过程跟上述完全一致,不再累赘。(此时h(x) == 0,cost == 0;如果h(x) == 1, cost == +无穷,因此需要取最小值 )
将以上两个表达式合并为一个,则单个样本的损失函数可以描述为:
因为
全体样本的损失函数可以表示为:
这就是逻辑回归最终的损失函数表达式
- 逻辑回归——关于似然代价函数(补充)
- 机器学习之——判定边界和逻辑回归模型的代价函数
- 机器学习笔记——逻辑回归模型及其代价函数推导
- 机器学习-逻辑回归-代价函数
- 逻辑回归中代价函数求导推导
- 逻辑回归中代价函数求导推导
- 机器学习-逻辑回归-代价函数
- 极大似然法推导线性回归和逻辑回归代价(cost)函数
- 使用fminunc找逻辑回归(logistic)代价函数的最小值
- 逻辑回归(代价函数,梯度下降) logistic regression--cost function and gradient descent
- 使用fminunc找逻辑回归(logistic)代价函数的最小值
- 跟着Andrew Ng挑战Machine Learning(第三周)Part 2:逻辑回归的代价函数
- 逻辑回归中代价函数的选择.凸优化问题
- 机器学习整理(二)-逻辑回归代价函数
- 逻辑回归 logistic regression 代价函数导数求解过程
- UFLDL教程——Softmax回归代价函数的梯度
- logistic回归代价函数
- 线性回归-5-代价函数
- eclipse上从mybatis java代码跳转至xml的插件
- 添加购物&查看购物车
- oracle使用exp与imp对数据迁移备份的方法
- jvm 内存基本概念
- 备注linux一些指令
- 逻辑回归——关于似然代价函数(补充)
- python isinstance用法
- MySQL数据库的安装和测试安装
- webservice入门之CXF教程
- SQL BETWEEN 操作符
- cuda编译错误
- BCOS中的json
- openCV学习笔记(四):图像遍历和像素操作
- 数据库的三种模式结构