SVM解回归问题
来源:互联网 发布:醉游网络 编辑:程序博客网 时间:2024/06/05 16:08
转载请注明出处:http://blog.csdn.net/luoshixian099/article/details/51121767
对于SVM解分类二分类问题,及多分类问题,在上一篇文章已经详述http://blog.csdn.net/luoshixian099/article/details/51073885。本文将对SVM解回归问题,进行分析。
1.方法分析
在样本数据集
在SVM回归算法中,目的是训练出超平面
下图为
2.目标函数
观察上述的
采用
由于上述目标函数含有绝对值项不可微。我们可以转化成一个约束优化问题,常用的方法是为每一个样本数据定义两个松弛变量
如上图所示:
当样本点真实值
当样本点真实值
因此使得每个样本点位于管道内部的条件为:
当
当
误差函数可以写为一个凸二次优化问题:
约束条件:
写成拉格朗日函数:
3.对偶问题
上述问题为极小极大问题:
带回到拉格朗日函数中,化简得到只关于
约束条件为:
下面考虑KKT条件:
由式7.65,7.66知:
当
当
同时,由式7.65,7.66知,对于任意一个数据点,由于
4.超平面计算:
把
由上述的分析,影响超平面参数的点为位于管道边界处,或者管道外面。
关于b的计算,可以考虑在管道上方边界处一个点必然有:
联立解出:
- SVM解回归问题
- 【机器学习详解】SVM解回归问题
- 逻辑回归和SVM
- 从逻辑回归到SVM
- 回归问题
- 逻辑回归和SVM的区别
- SVM与逻辑回归的区别
- 线性回归的一些思考(SVM)
- SVM与Logistic回归的区别
- 逻辑回归和SVM的比较
- Logistic回归以及LR与SVM异同
- Logistic回归以及LR与SVM异同
- SVM与Logistic回归的关系
- SVM——分类与回归实例
- 回归问题之线性回归
- Spark MLlib回归算法------线性回归、逻辑回归、SVM和ALS
- SVM 之 问题描述
- SVM对偶问题
- L1-020. 帅到没朋友
- requests 库的安装
- [IDEA]习惯用的idea快捷方法
- JS Cookie
- javaSE-Day1-数组
- SVM解回归问题
- Jenkins安装、配置,常用中间件、插件构建实例
- mq 小程序
- 蒙特卡罗法与正常求解对比(解决非线性整数规划)
- 实例化对象
- Matlab限定Voronoi输出的泰森多边形范围
- Ubuntu初探
- 字符串中各个字母出现的个数
- [170905]【编译原理】开学第一课