最大熵与逻辑回归的等价性
来源:互联网 发布:大专转行数据分析师 编辑:程序博客网 时间:2024/06/05 09:31
一:前言
update:2015/11/9
获得了一些新的理解,指数簇分布的最大熵等价于其指数形式的最大似然界。二项式的最大熵解等价于二项式指数形式(sigmoid)的最大似然,多项式分布的最大熵等价于多项式分布指数形式(softmax)的最大似然,因此为什么用sigmoid函数,那是因为指数簇分布最大熵的特性的必然性。假设分布求解最大熵,引入拉格朗日函数,求偏导数等于0,直接求出就是sigmoid函数形式。还有很多指数簇分布都有对应的最大似然界。而且,单个指数簇分布往往表达能力有限,就引入了多个指数簇分布的混合模型,比如高斯混合,引出了EM算法。想LDA就是多项式分布的混合模型。一下子豁然开朗了好多
大概了解过逻辑回归与最大熵模型有些关系,但是一直没有理清楚。这次稍微深入理解了一下。逻辑回归是最大熵对应类别为两类时的特殊情况,也就是当逻辑回归类别扩展到多类别时,就是最大熵。下面会详细的进行证明。
本文只是一个copy版本,内容源自:<the equivalence of logistic regression and maximum entropymodels >
首先我们引入一些符号。假定输入是一个n维空间的实数向量。(考虑到公式在这里展示不好看,以图片的格式呈现)这个公式不是凭空出来的,其背后有信息论基础。于是我们得到了(10),在受公式(9)约束的条件下,求(10)的极大值。
A) 首先引入拉格朗日函数
0 1
- 最大熵与逻辑回归的等价性
- 逻辑斯蒂回归,最大熵模型及其等价性
- 极大熵模型和逻辑回归的等价性
- 六、逻辑回归与最大熵模型
- 最大熵模的理解与最大熵模型逻辑回归相似转换条件
- 逻辑斯谛回归与最大熵模型
- 逻辑斯蒂回归模型与最大熵模型
- 逻辑斯谛回归与最大熵分类模型
- 逻辑斯谛回归与最大熵模型
- 机器学习笔记(6)-逻辑回归与最大熵模型
- 最大似然估计与逻辑回归
- 回归 ---- 线性回归,多元回归与逻辑回归的关系
- 统计学习方法 李航---第6章 逻辑回归与最大熵模型
- 机器学习模型(二)最大熵模型与逻辑斯蒂回归模型
- 逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记
- 《统计学习方法》第六章逻辑斯蒂回归与最大熵模型学习笔记
- <统计学习方法>5 逻辑斯蒂回归与最大熵模型
- 统计学习方法笔记:逻辑斯谛回归与最大熵模型(上)
- spring集成mongodb封装的简单的CRUD
- C++ 标准IO库:面向对象的标准库
- Android界面编程之二 第一组UI组件:布局管理器
- JSP基础——分别使用表达式和脚本方式打印九九乘法表
- Android界面编程之三 第二组UI组件:TextView及其子类
- 最大熵与逻辑回归的等价性
- ScrollView的使用以及简单Demo
- 原子性操作atomic_t
- Android界面编程之四 第三组UI组件:ImageView及其子类
- POJ 1308 Is It A Tree? (并查集)
- Android界面编程之五 第四组UI组件:AdapterView及其子类
- 动态增大的栈
- Android界面编程之六 第五组UI组件:ProgressBar及其子类
- HDU 2614 DFS