SVM与Logistic回归的关系
来源:互联网 发布:淘宝排名在线查询 编辑:程序博客网 时间:2024/06/15 20:43
合页损失函数
SVM的目标函数
对于线性SVM,我们知道它的原始最优化问题为:
对于原始优化问题,当
因此,SVM的优化问题可以转化为最优化以下问题:
其中,
Logistic的目标函数
对于logistic回归,我们知道sigmoid函数的形式为
其中
sigmoid函数的性质:
- 对称性:
f(−a)=1−f(a) ∂f∂a=f(1−f)
应用极大似然函数估计模型参数,首先构造似然函数,我们知道logistic回归模型为
取似然函数的负对数得到误差函数,这个误差函数就是交叉熵(cross-entropy)误差函数:
去掉前面负号不影响优化问题,则:
在处理logistic回归时,为了比较方便,我们对目标变量
从上式子中通过对似然函数取负对数构造一个带正则化项的误差函数:
把最终式换回去:
和SVM作对比:
因此,SVM和Logistic回归有相似的目标函数
附加:
logistic回归与最大熵模型的关系
阅读全文
0 0
- SVM与Logistic回归的关系
- SVM与Logistic回归的区别
- Logistic回归以及LR与SVM异同
- Logistic回归以及LR与SVM异同
- 线性回归与logistic回归的思路
- svm与logistic regression的区别
- svm与logistic regression的区别
- 关于Logistic Regression 与 SVM的选择
- Logistic函数与Logistic回归
- Logistic regression与SVM
- Softmax回归与Logistic回归
- Logistic回归与Softmax回归
- Logistic回归与sigmoid
- logistic回归,以及决策边界与回归的区别
- soft-svm的理解+logistic 与SVM结合输出概率值+logistic 用到z域
- 回归 ---- 线性回归,多元回归与逻辑回归的关系
- Logistic回归的实现
- SVM与逻辑回归的区别
- Android音乐播放器
- 仿CNode.js论坛学习
- jeecg 3表联查
- Java的运行时数据区
- SSH入门项目-1-环境准备
- SVM与Logistic回归的关系
- leetcode31 Next Permutation
- Android 8.0 功能和 API
- SSH连接远程服务器
- 2017-9-15河南财经政法大学开学典礼校长致辞-向阳而立,向善而行
- 正则表达式 Regex
- 使用Spring单元测试出错
- win10 uwp MVVM 轻量框架
- 银行存钱系统可行性分析