逻辑回归模型(Logistic Regression, LR)
来源:互联网 发布:网络安全网站知乎 编辑:程序博客网 时间:2024/04/30 13:31
什么是回归:
回归是一种极易理解的模型,就相当于y=f(x),表明自变量x与因变量y的关系。
什么是线性回归:
收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,向量表示形式:
线性回归求解:
这个就是一个组合问题,已知一些数据,如何求里面的未知参数,给出一个最优解。 一个线性矩阵方程,直接求解,很可能无法直接求解。有唯一解的数据集,微乎其微。
基本上都是解不存在的超定方程组。因此,需要退一步,将参数求解问题,转化为求最小误差问题,求出一个最接近的解,这就是一个松弛求解。
求一个最接近解,直观上,就能想到,误差最小的表达形式。仍然是一个含未知参数的线性模型,一堆观测数据,其模型与数据的误差最小的形式,模型与数据差的平方和最小:
这就是损失函数的来源。
什么是逻辑回归:
1)可用于概率预测,也可用于分类。
并不是所有的机器学习方法都可以做可能性概率预测(比如SVM就不行,它只能得到1或者-1)。可能性预测的好处是结果又可比性:比如我们得到不同广告被点击的可能性后,就可以展现点击可能性最大的N个。这样以来,哪怕得到的可能性都很高,或者可能性都很低,我们都能取最优的topN。当用于分类问题时,仅需要设定一个阈值即可,可能性高于阈值是一类,低于阈值是另一类。
2)仅能用于线性问题
只有在feature和target是线性关系时,才能用Logistic Regression(不像SVM那样可以应对非线性问题)。这有两点指导意义,一方面当预先知道模型非线性时,果断不使用Logistic Regression; 另一方面,在使用Logistic Regression时注意选择和target呈线性关系的feature。
3)各feature之间不需要满足条件独立假设,但各个feature的贡献是独立计算的。
逻辑回归不像朴素贝叶斯一样需要满足条件独立假设(因为它没有求后验概率)。但每个feature的贡献是独立计算的,即LR是不会自动帮你combine 不同的features产生新feature的 (时刻不能抱有这种幻想,那是决策树,LSA, pLSA, LDA或者你自己要干的事情)。举个例子,如果你需要TF*IDF这样的feature,就必须明确的给出来,若仅仅分别给出两维 TF 和 IDF 是不够的,那样只会得到类似 a*TF + b*IDF 的结果,而不会有 c*TF*IDF 的效果。
- 逻辑回归模型(Logistic Regression, LR)基础
- 逻辑回归模型(Logistic Regression, LR)
- 逻辑回归模型(Logistic Regression, LR)基础
- 逻辑回归模型(Logistic Regression, LR)
- 逻辑回归模型(Logistic Regression, LR)基础
- 逻辑回归模型(Logistic Regression, LR)基础
- 逻辑回归模型(Logistic Regression, LR)基础
- LR逻辑回归Logistic Regression
- 逻辑回归模型(Logistic Regression, LR)基础<转>
- 逻辑回归模型(Logistic Regression, LR)基础 - 文赛平
- 逻辑回归模型(Logistic Regression, LR)基础 - 文赛平
- Logistic Regression逻辑回归模型
- Logistic逻辑回归模型(LR)基础
- 逻辑回归Logistic Regression 模型简介
- 逻辑回归模型(logistic regression)
- 机器学习算法之: 逻辑回归 logistic regression (LR)
- sklearn逻辑回归(Logistic Regression,LR)类库使用小结
- logistic regression 逻辑回归
- IOS 获得项目中info.plist文件的内容 2.沙盒的数据存储及读取 3.控制器view的高度和状态栏statusBar
- codeforces 407B B. Long Path(dp)
- js中eval()函数和trim()去掉字符串左右空格应用
- 调用系统的相机
- 笔试面试细节
- 逻辑回归模型(Logistic Regression, LR)
- Android进价篇-SOAP协议
- 第三十九天 手机媒体应用:SoundPool(播放提示音)、录音、视频播放、本地相机
- 在vs中采用xamarin开发时移动应用时出现乱码解决方法
- html3大元素
- 【数据结构】——哈希表
- if __name__ == "__main__"含义
- Javascript trim()函数实现
- multidimensional scaling