SVM与逻辑回归的区别
来源:互联网 发布:淘宝店铺首页链接在哪 编辑:程序博客网 时间:2024/06/05 15:48
逻辑回归和支持向量机之间的区别也是面试经常会问的一道题,特地找了一些相关资料看了下。
损失函数
原文地址:http://charlesx.top/2016/03/LR-SVM/
不好意思啊,我不太懂你说的log loss是log likelihood吗。我记得课上说logistic regression是用Maximum log Likelihood 来的.。
实质上,在这个问题里面,对数损失和极大似然估计是等价的。
- 我们知道损失函数是用来衡量预测的错误程度,机器学习的基本策略就是使得经验风险最小化,也就是模型在训练上的损失最小,这是一种普适的思路。
- 而对于涉及到概率的问题,极大似然估计也是使得估计错误最小的一种思路,从数学推导上来看,LR的经验风险就是极大似然估计取个对数加个负号而已。
这是两种思维方式,但本质上是一样的,损失函数这一套逻辑是机器学习的普适逻辑,而极大似然估计这套思想是来解决概率相关问题,如果对于回归问题,还怎么用极大似然估计?(MSE,MAE)
1,优化目标不同。LR的目标函数是logloss,SVM是最大化分类面间距。2,对非线性问题的处理方式不同。LR主要靠特征构造,必须组合交叉特征,特征离散化。SVM也可以这样,还可以通过kernel。3,处理的数据规模不同。LR一般用来处理大规模的学习问题。如十亿级别的样本,亿级别的特征。
http://www.zhihu.com/question/24904422
合页损失函数:《统计学习方法》
0 0
- SVM与逻辑回归的区别
- 逻辑回归和SVM的区别
- 逻辑斯蒂回归和SVM的区别有哪些?
- SVM与Logistic回归的区别
- 逻辑回归与朴素贝叶斯的区别
- 朴素贝叶斯与逻辑回归的区别
- 线性回归与逻辑斯提回归的区别
- 逻辑回归和SVM的比较
- 逻辑回归和SVM
- 线性回归和逻辑回归的区别
- 逻辑回归与决策树在分类上的一些区别
- 逻辑回归与决策树在分类上的一些区别
- 逻辑回归与决策树在分类上的一些区别
- 逻辑回归与决策树在分类上的一些区别
- 逻辑回归与决策树在分类上的区别
- 逻辑回归与决策树在分类上的区别
- 回归 ---- 线性回归,多元回归与逻辑回归的关系
- 从逻辑回归到SVM
- freemaker String 常见操作语法
- 短信重发机制
- :java.lang.ClassCastException: android.widget.LinearLayout$LayoutParams cannot be cast to android.wi
- Unity3D性能优化(二)
- edge浏览器首页注册表设置
- SVM与逻辑回归的区别
- 解决iReport打不开的一种方法
- Android6.0 运行时权限
- 8.25 考试整理
- 当发送大于12片长短信,使其不能发送,且给客户提示
- uva 439 Knight Moves
- Android 平台是消息驱动之Handler
- maven 检查依赖冲突和版本冲突
- ambari之部署大数据平台