《统计学习方法》第六章逻辑斯蒂回归与最大熵模型学习笔记
来源:互联网 发布:安防网络系统 编辑:程序博客网 时间:2024/05/17 00:59
一、逻辑斯蒂回归模型
1. 二项逻辑斯蒂回归模型
二项逻辑斯蒂回归模型是如下的条件概率分布:
注意:
事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。
如果事件发生的概率是p,那么该事件的几率是
逻辑回归的对数几率是:
意义:在逻辑斯蒂回归模型中,输出Y=1的对数几率是输入x的线性函数。或者说,输出Y=1的对数几率是由属于x的线性函数表示的模型,即逻辑斯蒂回归模型。(这里需要再理解下)
感知机只通过决策函数(
令决策函数(
逻辑斯蒂回归模型的定义式
2. 模型参数估计
应用极大似然法进行参数估计,从而获得逻辑斯蒂回归模型。极大似然估计的数学原理参考这里。
设:
似然函数为:
上式连乘符号内的两项中,每个样本都只会取到两项中的某一项。若该样本的实际标签
对数似然函数为:
对上式中的
问题转化成以对数似然函数为目标函数的无约束最优化问题,通常采用梯度下降法以及拟牛顿法求解
假设
3. 多项逻辑斯蒂回归
多项逻辑斯蒂回归用于多分类问题,其模型为:
上面的公式和二分类的类似,式中
4. 交叉熵损失函数的求导
逻辑回归的另一种理解是以交叉熵作为损失函数的目标最优化。交叉熵损失函数可以从上文最大似然推导出来。
交叉熵损失函数为:
则可以得到目标函数为:
计算J(θ)对第j个参数分量
0 0
- 《统计学习方法》第六章逻辑斯蒂回归与最大熵模型学习笔记
- 逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记
- 统计学习方法:逻辑斯蒂回归和最大熵模型
- 统计学习方法笔记:逻辑斯谛回归与最大熵模型(上)
- 统计学习方法笔记:逻辑斯谛回归与最大熵模型(下)
- <统计学习方法>5 逻辑斯蒂回归与最大熵模型
- 李航·统计学习方法笔记·第6章 logistic regression与最大熵模型(1)·逻辑斯蒂回归模型
- 统计学习方法 第6章 逻辑斯谛回归与最大熵模型(1)
- 统计学习方法 第6章 逻辑斯谛回归与最大熵模型(2)
- 《统计学习方法》笔记(6):逻辑斯谛回归&最大熵模型
- 统计学习方法 6-逻辑斯谛回归与最大熵模型
- 统计学习方法 李航---第6章 逻辑回归与最大熵模型
- 机器学习笔记(6)-逻辑回归与最大熵模型
- 统计学习方法——逻辑斯蒂回归模型
- 统计学习方法(三) logisitic回归与最大熵模型
- 机器学习模型(二)最大熵模型与逻辑斯蒂回归模型
- 逻辑斯蒂回归模型与最大熵模型
- 统计学习-逻辑回归(LR)和最大熵模型
- swift中关于
- python string的编码方式
- GIT 常用指令大全
- 2002年分区联赛普级组之三 产生数
- Shiro入门-shiro与spring整合
- 《统计学习方法》第六章逻辑斯蒂回归与最大熵模型学习笔记
- centos xorg 服务
- asp.net mvc 下拉并且不能选择默认值的原因
- 0012_20170405_【我是菜鸟】_java的Override(重写)
- 欢迎使用CSDN-markdown编辑器
- 字符串包含(可以不连续)
- 阶乘
- Spring(三)IoC的简介和实例分析
- CSS hack大全