逻辑回归
来源:互联网 发布:汤森路透数据库怎么用 编辑:程序博客网 时间:2024/05/17 20:12
sigmoid,或者说exponential family具有的最佳性质,即maximum entropy的性质。
虽然不清楚历史上孰先孰后,但这并不妨碍maximum entropy给了logistic regression一个很好的数学解释。
为什么maximum entropy好呢?entropy翻译过来就是熵,所以maximum entropy也就是最大熵。熵原本是information theory中的概念,用在概率分布上可以表示这个分布中所包含的不确定度,熵越大不确定度越大。所以大家可以想象到,均匀分布熵最大,因为基本新数据是任何值的概率都均等。
而我们现在关心的是,给定某些假设之后,熵最大的分布。也就是说这个分布应该在满足我假设的前提下越均匀越好。比如大家熟知的正态分布,正是假设已知mean和variance后熵最大的分布。
回过来看logistic regression,这里假设了什么呢?首先,我们在建模预测 Y|X,并认为 Y|X 服从bernoulli distribution,所以我们只需要知道 P(Y|X);其次我们需要一个线性模型,所以 P(Y|X) = f(wx)。接下来我们就只需要知道 f 是什么就行了。而我们可以通过最大熵原则推出的这个 f,就是sigmoid。
考虑任意多类(不仅是两类)的分类问题。
Exponential model 的形式是这样的:
假设第i个特征对第k类的贡献是,则数据点属于第k类的概率正比于。(省略bias)
因为一个数据点属于各类的概率之和为1,所以可以得到
现在回到两类(0、1)的情况,此时分母上只有两项:
分子、分母同除以分子,并设,则有
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 逻辑回归
- 内表整体赋值
- vs2012 链接器工具错误 LNK2026 xxx模块对于SAFESEH影像是不安全的
- A1047.Student List for Course
- Java多线程探究-Lock锁对象
- 正则表达式简介及在C++11中的简单使用
- 逻辑回归
- ThreadPoolExecutor
- 机器学习与数据挖掘的学习路线图
- 快速从手机中取出调试日志并过滤关键字段
- ios中tableview中的方法的执行顺序
- 数据库学习
- SuperMap iMobile for Android 点线面数据采集之添加编辑属性值
- Android---在Activity中使用AsyncTask后销毁
- MSM平台RPM