机器学习 Logistic Regression
来源:互联网 发布:算法 pdf 编辑:程序博客网 时间:2024/04/29 11:18
Logistic Regression
之前我们讨论过回归问题,并且讨论了线性回归模型。现在我们来看看分类问题,分类问题与回归问题类似,只不过输出变量一个是离散的,一个是连续的。我们先关注二分类问题,假设
输出变量
其中,
称之为 logistic 函数 或者 sigmoid 函数. 很容易看出这个函数的值域在(0-1)之间。我们可以求得 logistic 函数的导数为:
那么,对于 logistic 回归模型,如何估计参数
最小二乘回归模型。同样地,我们仍然可以利用最大似然估计的方法来拟合 logistic 回归模型的参数,我们先给出如下的概率假设:
考虑到
假设一组训练集含有
对上式取对数,可以得到:
如何使得上式的概率最大?我们可以利用梯度下降法,定义如下的式子:
其中,
为了推导
因此,我们可以得到如下的参数
我们可以看到,这个表达式和第一讲里的LMS更新表达式很像,两者的区别在于LMS里的
Generalized Linear Models
迄今为止,我们探讨了一个回归问题(第一讲),也探讨了一个分类问题(第三讲)。在回归问题中,我们定义了如下的概率分布:
The exponential family
首先我们定义一个指数族分布。如果任何一组变量满足指数族分布,那么该变量的概率分布可以表示为:
其中,
对于给定的
接下来,我们将证明,Bernoulli分布和Gaussian分布是属于指数分布中的两种情况。Bernoulli分布,假设均值为
Bernoulli分布可以写成:
为了用式(1)表示Bernoulli分布,我们可以定义
我们可以看到,通过定义合适的
接下来,我们看看Gaussian分布和广义指数分布族的关系,我们定义高斯分布为
方差为1,即
因此,我们可以定义
同样可以看到,Gaussian分布可以表示成指数分布。
事实上,我们常见的很多分布都是指数分布族中的一种,像multinomial (二项式分布), Poisson (泊松分布), 还有Gamma 分布,Beta分布等。
构造 Generalized Linear Models(GLMs)
这一章节,我们将要探讨如何构造Generalized Linear Models(GLMs),通常情况下,当我们考虑一个回归问题或者分类问题,我们希望预测随机变量
是关于
1:
2:给定
3: natural parameter
这三个假设可以让我们派生出一系列非常优美的学习算法,我们称之为广义线性模型,这些模型可以非常有效地建立关于
之前提到的logistic regression和一般最小二乘(LMS)都从GLMs 演化而来。
为了证明一般最小二乘是广义线性模型中的一个特例,我们先假设目标变量
从上式可以看出,第一个等式基于假设2,因为高斯分布的期望就是均值
我们可以看到从这三个假设可以推导出一般最小二乘的假设函数是
因此我们可以得到logistic regression的假设函数
参考文献
Andrew Ng, “Machine Learning”, Stanford University.
- 机器学习 Logistic Regression
- 机器学习 logistic regression
- 机器学习-Logistic Regression
- 机器学习-Logistic Regression
- 机器学习之logistic Regression
- 机器学习笔记 - Logistic Regression
- logistic regression 分类:机器学习
- 机器学习: Logistic Regression--python
- 机器学习基石-Logistic Regression
- 机器学习之Logistic regression
- 机器学习-- Logistic回归 Logistic Regression
- Stanford机器学习 -- Logistic Regression 的学习
- 机器学习(二)之Logistic Regression
- 3、机器学习-Logistic Regression and Regularization
- 机器学习技法-5-Kernel Logistic Regression
- ng机器学习第三讲logistic regression
- 机器学习: 逻辑回归(Logistic Regression)
- Stanford 机器学习 Week3 作业 Logistic Regression
- TS包结构
- [hihoCoder]#1062 : 最近公共祖先·一
- 1输出x^2的值
- 关于多线程常见问题
- linux 下用oss播放音乐
- 机器学习 Logistic Regression
- java基础之I/O
- 建造者模式
- 交叉验证(cross-validation)
- ZOJ1516.Uncle Tom's Inherited Land——二分匹配,构图
- sprintf用法
- 入门基础Contiki OS与Instant Contiki
- 信息与通信工程——重要国际学术会议和国际顶级期刊(仅供参考)
- DropDownList如何绑定DataTable,如何绑定DataSet