【机器学习详解】SVM解回归问题
来源:互联网 发布:网络销售月收入是多少 编辑:程序博客网 时间:2024/06/06 00:20
转载请注明出处:http://blog.csdn.net/luoshixian099/article/details/51121767
对于SVM解分类二分类问题,及多分类问题,在上一篇文章已经详述http://blog.csdn.net/luoshixian099/article/details/51073885。本文将对SVM解回归问题,进行分析。
1.方法分析
在样本数据集
在SVM回归算法中,目的是训练出超平面
下图为
2.目标函数
观察上述的
采用
由于上述目标函数含有绝对值项不可微。我们可以转化成一个约束优化问题,常用的方法是为每一个样本数据定义两个松弛变量
如上图所示:
当样本点真实值
当样本点真实值
因此使得每个样本点位于管道内部的条件为:
当
当
误差函数可以写为一个凸二次优化问题:
约束条件:
写成拉格朗日函数:
3.对偶问题
上述问题为极小极大问题:
带回到拉格朗日函数中,化简得到只关于
约束条件为:
下面考虑KKT条件:
由式7.65,7.66知:
当
当
同时,由式7.65,7.66知,对于任意一个数据点,由于
4.超平面计算:
把
由上述的分析,影响超平面参数的点为位于管道边界处,或者管道外面。
关于b的计算,可以考虑在管道上方边界处一个点必然有:
联立解出:
参考:PRML
- 【机器学习详解】SVM解回归问题
- SVM解回归问题
- 机器学习----回归问题
- 机器学习8回归问题
- 机器学习理解之SVM原理详解
- 机器学习c12笔记:SVM学习与SVM,逻辑回归和kNN比较
- 机器学习 -- SVM:线性可分性问题(转载)
- 机器学习之详解Logistic回归
- 机器学习之详解Logistic回归
- 【机器学习】Logistic逻辑回归详解
- Spark ML机器学习算法svm,als,线性回归,逻辑回归简单试验
- 机器学习-回归及分类问题总结
- 机器学习物语(3):回归问题
- 机器学习物语(3):回归问题
- 【机器学习】回归问题(一)
- 机器学习|回归问题与python实现
- 机器学习 SVM
- 机器学习7-SVM
- Luajit笔记---关于如何FFI与C++代码交互
- iOS 9.3.1真机报错"could not find developer disk image"
- HTTP POST请求报文格式分析与Java实现文件上传
- 欢迎使用CSDN-markdown编辑器
- spring依赖注入使用小记
- 【机器学习详解】SVM解回归问题
- Java设计模式中单例模式(Design Pattern):懒汉模式和饿汉模式
- Javascript 严格模式详解
- SlidesJS基本使用方法和官方文档解释 【Jquery幻灯片插件 Jquery相册插件】
- 【js】:点击控件从而显示不同的字
- input 中某些属性的使用
- EBS表后缀的意义
- 改变textfieldplaceHoder颜色
- Android PullToRefresh 的基本介绍