logistic回归
来源:互联网 发布:淘宝培训学院 编辑:程序博客网 时间:2024/06/06 03:28
1. 逻辑回归的建模
1.1.sigmoid函数
说道建模,总有一些粗暴的地方,即强行给真实模型
分类问题与回归的问题的不同在于y的值域不同,对于分类问题,我们想把样本x分到
人们找到一种叫sigmoid(s型)的函数
它可以把范围在
1.2.二分类
对于二分类问题
可能因为这种模型的结果是在0, 1之间,且保持了线性回归模型的内积形式,因此它被称作logistic regression,即逻辑回归,或逻辑斯蒂回归。
**参考
1.2. 逻辑回归的特质
将(3)中的2个等式取对数相比(log-odd)得
可以发现以下特质,考虑任意样本
1. 当
2. 当
3. 当
可见Logistic Regression仍然是一种线性方法,即用平面(
可以认为逻辑回归实际上式以(4)建模的。它认为一个样本属于类1的概率P(y=1|x)大的话,它应当在分类平面
其实,我们忘掉sigmoid函数,直接拿(4)来建模,粗暴地假设类对数比率(log-odd)是关于x的线性函数,又由于样本属于两类的概率之和为1
联立(4)(5),解未知数为P(Y=1|x)和P(Y=-1|x)的方程还是可以得到式(3),自然含有sigmoid函数。
1.3.多分类
对于K分类问题,如
解方程组得到多分类的模型
其中,
这很像softmax回归,把(7)中的“1”替换成“
softmax回归可以看做是logistic的推广。当然softmax回归并不是这么推倒出来的,它的建模过程有它自己的考虑,像logistic一样出于某种需求被逐步构建出,就像你做deep learning搭积木一样,是一种建模过程。你能根据模型的某种数学特点把他们归类在一起,比如GLM, tree。模型与模型间确定的推导关系是很难给出的, 至少我在写这个博客时还做不到。或者我该以另一种形式开头,如“人们找到一种叫做softmax的函数,它有这样那样的特点。。。”再写一篇博客。
2.逻辑回归的求解
用最大似然估计法估计
则
那么似然函数为:
对数似然为:
最大化
(9)等号右边每一项为交叉熵(cross entropy),因此对逻辑回归使用最大似然估计等价于最小化交叉熵,因此在神经网络中以交叉熵为损失函数求解二分类问题与最大似然估计是等价的。
这里只介绍一般逻辑回归的求解,回到(8), 将(6)(7)带入(8)得
令其梯度为0有
(10)是非线性方程组,难以求得
因此Newton-Raphson算法每一步的迭代公式为:
可根据(11)迭代即可求解出(10)的零点
Newton-Raphson算法(牛顿迭代法)
以logP(y=1|x)P(y=0|x)=βTx 建模的遐想
考虑任意样本
- 若
x0 属于1类的概率大于属于0类的概率,它应当在分类平面βTx=0 的某一边,不妨设βTx0>0 ; - 若
x0 属于0类的概率大于属于1类的概率,它应当在分类平面βTx=0 的另一边,即βTx0<0 。
换成数学的语言就是:
只要
容易理解,
这些想法由ESL和我在知乎中关于逻辑回归的回答引申而来,我也没见过相关的文献,要是有相关的文献作为以上臆想的佐证或者驳斥,烦请通知我。
- Logistic回归
- Logistic回归
- logistic回归
- Logistic 回归
- Logistic 回归
- logistic回归
- Logistic回归
- Logistic回归
- Logistic回归
- Logistic回归
- logistic回归
- Logistic回归
- logistic回归
- Logistic 回归
- logistic回归
- Logistic回归
- logistic回归
- Logistic回归
- AJAX动态添加li之后无法触发事件
- PHP设计模式系列(二十):中介者模式
- 今日学习内容
- jq中的toggle和toggleClass
- RocketMQ源码解析:Message存储
- logistic回归
- java学习【知识点及代码10】
- HDU1698 Just a Hook(线段树+成段更新+lazy标记)
- 学习淘淘商城第四十六课(搜索服务Dao实现)
- 倒着打印单链表
- Perl调用shell命令方法小结
- 指针
- Javascript中对象深拷贝的应用
- Java 概述