ML_aPP:8.Logistic regression笔记
来源:互联网 发布:程序员交流平台 编辑:程序博客网 时间:2024/04/29 03:02
Logistic回归对于{0,1}分类有很好的效果;Logistic model 算是Generalized Linear Model中的一类。
本章目录:
sigmoid函数
p(y=1|x,w)>0.5预测y=1;否则预测y=0.下面两个图中的分类可以展示Logistic的魔力。
8.2 Model specification
p(y=1|x,w)可以看成一次试验的成功的概率,所以有下面的分布形式:
sigmoid函数在参数w是二维时的图像
=================================================
8.3 Model Fitting
本节讨论Logistic回归的参数估计
以下的推导使用了一些小技巧,另外Hessian阵是对称的,对f(w)不同分类wi,wj先后求导结果相同,故求Hessian阵时对g的转置求导亦得到正确结果。
注意:ui =p(y=1|xi,w) ;g=X'(u-y)中的y∈{0 1};
另外:
可以看到,不像线性回归,这时候,很难得到w的解析形式。故需要使用优化的手段来求解w的数值解。
数值解的部分,略去。过段时间<2013/01/10的样子>写篇《机器学习中的优化方法》,统一处理了。
8.3.4 迭代加权最小二乘
使用Newton公式:
算法8.2
计算Hessian阵可能是费时的,在优化的研究里面提出了共轭梯度等方法。
8.3.6 l2正则化<l2 regularization>
正则化在分类中很重要。
8.3.7 多类别Logistic回归<Multi-class logistic regression>
以上讨论都是binary logistic regression,以下讨论多类别回归。
参数估计等。
=================================================
8.4 Bayesian logistic regression
略。
8.5 Online learning and stochastic optimization
对于流数据需要使用在线学习在处理。在offline learning情况中如果data太大不能一次性装入内存,就可以使用online learning技术来学习。
略。
8.6 Generative vs discriminative classifiers
略。
- ML_aPP:8.Logistic regression笔记
- logistic regression 学习笔记
- Logistic Regression笔记
- 【学习笔记2】Logistic Regression
- Logistic Regression 笔记与理解
- 机器学习笔记 - Logistic Regression
- 8. 逻辑回归Logistic Regression
- Stanford机器学习笔记-2.Logistic Regression
- Coursera ML笔记 -----week3 Logistic Regression
- 【Machine Learning】笔记:Logistic Regression Model
- 机器学习笔记——Logistic Regression
- 机器学习笔记-Kernel Logistic Regression
- logistic regression
- logistic regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- CRC校验原理
- thinkpad e530 格式化后在PE不识别的解决方法
- C#性能优化实践
- 黑马程序员--数据库基础1
- 中国四大骨干网 六大运营商 八大节点
- ML_aPP:8.Logistic regression笔记
- 两年内广州城中村全围闭 将施行“门禁”准则
- 用IBExpert优化Firebird/Interbase技巧集
- 海明码
- 《Linux 八》 文件系统管理
- 移植opencv2.3.0到wince6
- 开源 免费 java CMS - FreeCMS-首页静态化参数
- Objective-C 中的类的声明和实现
- org.hibernate.AnnotationException: @Column(s) not allowed on a @ManyToOne property: entity.KpsysLog