Logistic Regression(逻辑斯特回归)
来源:互联网 发布:vivo手机库存软件 编辑:程序博客网 时间:2024/04/29 23:52
Logistic Regression实际上是基于Linear Regression的,与Linear Regression的不同在于输出增加了一个非线性映射,即应用逻辑斯特函数将回归结果映射到0到1(能够将负无穷到正无穷映射到0-1的函数有很多,但是Logistic函数求导结果很简洁,能让伯努利的指数分布式标准形式(待理解)),从而可以利用概率来分类。
下面讲一下LR 的推导过程。我们按照解决机器学习算法一般过程来推导。即:
1. 建立模型---h(x)
2. 写出代价函数(CostFunction)---由最大似然估计推导得出
3. 求解代价函数取最小值时的参数值---梯度下降。
具体过程:
1.首先是建立模型
现在我们假设在二维平面上有两类数据要进行分类。假定数据是线性可分的,我们可以用一条直线来将他们分开。
直线的方程为:
,其实这就是多元线性回归方程。
而Logistic函数为:
我们把多元线性回归方程的输出作为自变量代入逻辑斯特函数,进而构造预测模型为:
我们最终要得到的就是这个模型h(x)。将待新样本点输入h(x)求出的值即为该样本为正例的概率。反之1-h(x)即为该样本为负例的概率((我们可以看下面图1,当z(即)趋近于正无穷时(正例),h(x)=g(z)趋近于1,即为正例的概率为1,为负例的概率为1-h(x)趋近于0),反之当z趋近于负无穷(负例)时,为正例的概率h(x)趋近于0,为负例的概率1-h(x)趋近于1。
2.然后具体推导损失函数
损失函数的推导应用了最大似然估计,最大似然估计就是最终我们要求解的参数值应该是让现有训练样本观测值的概率最大,前面我们得出结论
,把这个式子综合起来就是
,取似然函数
,为了方便计算,取对数似然函数得到
,最大似然估计就是要求使得l(θ)最大的θ,为了能方便的应用梯度下降法求解参数我们在这里取损失函数为:
,求对数似然函数的最大就是求J(θ)的最小,下面讲一下用梯度下降法求解最优参数过程。
3.梯度下降求解参数
首先是J(θ)对求导。
然后在J(θ)负梯度方向上更新的值,即
,其中@为学习速率。这里由于的存在可以省略1/m。即
最终会收敛,分类模型因此求出。
- Logistic Regression(逻辑斯特回归)
- 逻辑斯特回归(logistic regression)学习笔记
- MLaPP Chapter 8 Logistic Regression 逻辑斯特回归
- logistic regression 逻辑回归
- 逻辑回归(Logistic Regression)
- 逻辑回归(logistic regression)
- 逻辑回归logistic regression
- 逻辑回归(logistic regression)
- 逻辑回归(logistic regression)
- 逻辑回归(Logistic Regression)
- 逻辑回归(logistic regression)
- 逻辑回归Logistic Regression
- 逻辑回归(Logistic Regression)
- Logistic Regression-逻辑回归
- 逻辑回归 logistic regression
- 逻辑回归(Logistic Regression)
- logistic regression 逻辑回归
- 逻辑回归(Logistic Regression)
- Hadoop NameNode元数据相关文件目录解析
- hdu 2234+1560 IDA*
- 数据结构-堆实现优先队列(java)
- 我眼中的互联网运营感观——如何进行活动组织?
- iOS保存系统相册中的照片到应用沙盒中出现的问题--图片旋转90度,使用CGImageRelease造成应用崩溃
- Logistic Regression(逻辑斯特回归)
- JAVA 关键字小结
- 同步 异步 阻塞 非阻塞
- 图文详解Unity3D中Material的Tiling和Offset是怎么回事
- Box2d 物体互相碰撞的条件
- 计算机二级C语言-考试内容
- 黑马程序员——第十六篇:反射
- php小结---当解析变量的值分别为 null, "" ,0 ,"0" ,1 时的不同情况
- C语言实现常见的矩阵运算函数