Logistic Regression笔记
来源:互联网 发布:淘宝 宝贝分类 编辑:程序博客网 时间:2024/03/28 20:48
1.Logistic Regression模型
Logistic Regression预测的值是0和1,即Logistic Regression通过一系列函数作用后值域是{0,1}。那么,这个核心函数就是Sigmoid函数或Logistic函数。Sigmoid函数的表达形式如下:
函数图像如下:
Sigmoid函数的性质:当x=0时,Sigmoid(x)=0.5,并且,随着x的增大,Sigmoid函数的值逐渐趋近于1;而随着x的减小,Sigmoid函数的值逐渐趋近于0。如果横坐标足够大,那么Sigmoid函数看起来就像一个阶跃函数。
2.回归系数
为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把所有的结果值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类,小于0.5的数据被分入0类。所以,Logistic回归也可以被看做是一种概率估计。现在假设有n个训练样本 ,其相应的类型标签是,而对应的权值即系数不妨设为 ,则求出z值:
上式采用向量写法,可以表示成 。其中的向量x是分类器的输入数据,向量w也就我们要找的最佳系数,从而使得分类器尽可能地精确。
3.确定回归系数
在前两节,我们都提到Logistic Regression模型的一个重要性质:当z无穷大时,h(z)趋近于1;当z无穷小是,h(z)趋近于0;当z=0时,h(z)=0.5。我们构造预测函数:同时,前面我们也提到过:Logistic回归也可以被看成是一种概率估计。那么我们不妨用h(z)表示结果取1的概率,因此,可以得到1类和0类的概率公式,如:
以下使用极大似然估计法来求解回归系数。参数w的似然函数是:
由于往往极大似然函数求解比较难,所以一般会对极大似然函数取对数。因此得到下式:
实际上,代价函数(cost function)的形式是:
所以,求最小化代价函数就等价于求最大化似然估计,也就求出了回归系数。
这里用梯度下降法来求解f(w)的的极大值,即
对f(w)求导得:
代入原式可得到:
其中表示第i个样本的第j个特征。
4.伪代码
梯度下降法的伪代码:每个回归系数初始化为1
重复R次:
计算整个数据集的梯度
使用alpha*gradient更新回归系数的向量
返回回归系数
参考文献:
http://blog.csdn.net/pakko/article/details/37878837
http://www.cnblogs.com/guyj/p/3800519.html
- logistic regression 学习笔记
- Logistic Regression笔记
- ML_aPP:8.Logistic regression笔记
- 【学习笔记2】Logistic Regression
- Logistic Regression 笔记与理解
- 机器学习笔记 - Logistic Regression
- Stanford机器学习笔记-2.Logistic Regression
- Coursera ML笔记 -----week3 Logistic Regression
- 【Machine Learning】笔记:Logistic Regression Model
- 机器学习笔记——Logistic Regression
- 机器学习笔记-Kernel Logistic Regression
- logistic regression
- logistic regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- Logistic Regression
- ns-2与TCP拥塞模拟 之六 ns-2 TCP拥塞控制核心模块-变量说明
- Unix编程学习笔记---文件系统与 i节点
- NSTimer定时器的简单用法/NSTimer Instance
- 由scroll view引发的一系列小零碎
- theano tutorial学习笔记(一)
- Logistic Regression笔记
- CTreeCtrl带CHECKBOX属性,实现联动效果(点击父节点全部子节点被选中)
- 网络爬虫Python试验
- UINavigationBar自定义返回按钮
- Set Matrix Zeroes
- Java基础知识学习
- HDU 1114 Piggy-Bank (完全背包)
- 背包问题 II
- FZU-2202-犯罪嫌疑人 -10.1训练赛