Multinomial Logistic Regression
来源:互联网 发布:苹果手机网络时间校准 编辑:程序博客网 时间:2024/06/13 03:38
之前的文章中我们通过实际的例子和详细的公式推导已经相当直白而详尽地阐明了 Logistic Regression 的相关知识。在过去的介绍中,我们的逻辑回归通常只用来处理二分类问题,所以又称这种逻辑回归为 Binary (或Binomial) Logistic Regression。本文以此为基础,讨论如何处理多分类问题,这也就是通常所说的 Multinomial Logistic Regression。MLR还有很多可能听起来更熟悉的名字,例如最大熵模型(MaxEnt),Softmax,Boltzmann distribution, 条件随机场(conditional random field)等等。
欢迎关注白马负金羁的博客 http://blog.csdn.net/baimafujinji,为保证公式、图表得以正确显示,强烈建议你从该地址上查看原版博文。本博客主要关注方向包括:数字图像处理、算法设计与分析、数据结构、机器学习、数据挖掘、统计分析方法、自然语言处理。
如果你在阅读本文之时感到力不从心或者概念不清,那么强烈建议你参考下面几篇文章来作为阅读本文的基础:
- 二项分布与多项分布
- 机器学习之详解Logistic回归
- 牛顿法解机器学习中的Logistic回归
Binomial Logistic Regression
因为在之前的文章里我们已经详细地讨论过这部分内容,所以本小节仅作简单回顾,如果你对其中的推导感到吃力,可以参见“白马负金羁”博客上的其他相关文章。
首先,人们之所以会提出逻辑回归的方法,其实是从线性回归中得到的启发。通常,线性回归可以表示为
其中
为此,我们定义
as the ratio of the probability to its complement, or the ratio of favorable to unfavorable case.
然后我们对上式两边同时取对数,得到 logit or log-odds 如下
取反函数可得
此时,概率
在Bishop的PRML[3]中,作者从另外一个角度对 Logistic Regression 进行了解读。既然我们最终是想求条件概率
其中
这跟本文的解读是一致的。
逻辑回归遵循一个(单次的)二项分布。所以可以写出下列PMF:
其中
上述PMF亦可写为如下形式
然后我们就可以使用N次观测样本的最大对数似然来对参数进行估计:
根据多元函数求极值的方法,为了求出使得
所以,我们所要做的就是通过上面已经得到的结论来求解使得似然函数最大化的参数向量。
Multinomial Logistic Regression
如果目标类别数超过 2 个,这时就需要使用Multinomial Logistic Regression。
- The Binomial logistic regression is a probabilistic model for binomial cases.
- The Multinomial logistic regression generalizes the same principle for multinomial cases.
在这个从二分类向多分类演进的过程中,参考之前的做法无疑会带给我们许多启示。由于参数向量
事实上,我们知道,如果
在multinomial logit model中,我们假设每一个响应(response)的 log-odds 遵从一个线性模型,即
其中,
The multinomial logit model 也可以写成 原始概率
在二分的逻辑回归中,我们有
类似地,在multinomial的情况中,我们还可以得到
其中
又因为
在Bishop的PRML[3]中,他指出根据贝叶斯定理,可得
其中
前面的推导就告诉我们,在 Multinomial LR 中,响应变量
可以看出,Binomial LR 和 Multinomial LR本质上是统一的,Binomial LR 是 Multinomial LR 的特殊情况。我们将这两类机器学习模型统称为 逻辑回归(Logistic Regression)。更进一步地,逻辑回归和另外一个称呼“最大熵模型”(MaxEnt)本质上也是一致的,等同的。或者说最大熵模型是Multinomial LR 的另外一个称谓,我们后续会在其他文章中讨论最大熵模型和Multinomial LR 的等同性。
同时推荐《R语言实战——机器学习与数据分析》一书,整合R语言深藏不露的强大威力,决胜数据分析之巅。且听我将统计学之精髓娓娓道来,助你砥砺大数据时代的掘金技法。探寻数据挖掘之术,拨开机器学习迷雾,点破公式背后的层层玄机。本书引言请见如下链接:http://blog.csdn.net/baimafujinji/article/details/51596171
参考文献
[1] http://data.princeton.edu/wws509/notes/c3.pdf
[2] http://data.princeton.edu/wws509/notes/c6.pdf
[3] Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer Science+Business Media, LLC, 2006
- Multinomial Logistic Regression
- Multinomial logistic regression
- 多类别逻辑回归(Multinomial Logistic Regression)
- logistic regression
- logistic regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- Logistic regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- Hadoop启动,创建文件hdfs
- A Hierarchical Bayesian Drive-Survival Model of the NFL
- 【51nod】【算法马拉松14】1586 约数和
- Set接口
- 转:KEIL MDK中的RO、RW和ZI DATA
- Multinomial Logistic Regression
- CocoaPods 安装步骤记录----蛋痛史
- ADO.NET之SQLHelper类的简单封装
- 成为php 高手的五个必经之路
- MySQL Workbench 不能删除数据等问题(“Error Code: 1175”) 的解决方法
- 一名菜鸟程序员的自述,为自己点个赞
- DZ论坛伪静态加HTTP跳转HTTPS的IIS配置文件
- 缩放数据抵抗噪声
- java 常用习惯用法总结