逻辑回归模型的两种定义与参数估计思路
来源:互联网 发布:2016淘宝处罚规则 编辑:程序博客网 时间:2024/05/18 02:12
逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法,属于判别模型。
1. 逻辑斯谛回归模型定义
在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中,都有对逻辑斯谛回归模型的介绍,然而二者却对模型有着不同的定义。
1.1 决策函数
Andrew NG 课程中,对二项逻辑回归模型的决策函数如下:
其中
1.2 条件概率分布
统计学习方法中,二项逻辑回归模型是如下函数定义的条件概率分布:
这里,
2. 模型参数估计
由于定义的模型存在差异,因此二者的参数估计的思路也不同。
2.1 误差之和极小化
Andrew NG 课程中对误差之和的计算方法如下:
Cost函数可统一成以下形式:
最终的误差函数如下:
求解误差函数的极小值,即可得到
2.2 似然函数极大化
设
对数似然函数为:
对
2.3 两种思路的分析比较
根据以上分析可见,虽然 Andrew NG 和 李航 分别定义了不同形式的逻辑斯谛回归模型,并且采用了不同的思路进行进行参数估计,但是最终二者的目标函数却完全等价。导致这个结果的根本原因在于二者都采用了极大似然估计法来进行参数估计,都是经验风险最小化原则在统计学习的应用。
3. 目标函数极值求解方法
常用梯度下降法或拟牛顿法来估计数值解。
下面以求极大似然函数极大值为例来说明算法步骤。
对数似然函数为:
其梯度为:
值得一提的是,这里得出的梯度和线性回归中的梯度完全相同!
算法如下:
- 逻辑回归模型的两种定义与参数估计思路
- 参数估计、假设检验与回归
- 参数估计、假设检验与回归
- 回归模型-逻辑回归
- 六、逻辑回归与最大熵模型
- 回归 ---- 线性回归,多元回归与逻辑回归的关系
- 线性回归与logistic回归的思路
- 逻辑回归模型的评估方法
- 逻辑回归与其他模型的关系
- 逻辑斯蒂回归模型与最大熵模型
- 逻辑回归模型
- 逻辑回归模型
- 逻辑回归模型
- 复习:逻辑回归模型
- 最大熵模的理解与最大熵模型逻辑回归相似转换条件
- ARMA模型参数估计的最小二乘法
- 【学习笔记】逻辑回归模型原理与应用
- 逻辑斯谛回归与最大熵模型
- Scikit Learn简介
- 《合成孔径雷达成像——算法与实现》之【5】仿真图3.6
- ida unicode/utf-16识别脚本
- 从Slice_Header学习H.264--相关细节之 POC的计算
- 取模运算
- 逻辑回归模型的两种定义与参数估计思路
- Java基础学习总结(73)——Java最新面试题汇总
- String
- VS 中NuGet 尝试还原程序包时出错"*"已拥有为"**"定义的依赖项
- java关键字 statiic
- proc
- #早安,努力#11.09
- linux-C下的死锁检测(pthread_mutex_)
- webpack打包流程