支持向量机学习之3-SVR(回归)
来源:互联网 发布:李贞贤阿里阿里百度云 编辑:程序博客网 时间:2024/05/22 02:14
支持向量机系列学习笔记包括以下几篇:
Spark机器学习系列之13: 支持向量机SVM :http://blog.csdn.net/qq_34531825/article/details/52881804
支持向量机学习之2:核函数http://blog.csdn.net/qq_34531825/article/details/52895621
支持向量机学习之3:SVR(回归)http://blog.csdn.net/qq_34531825/article/details/52891780
ϵ−SVR
SVR回归中,基本思路和SVM中是一样的,在
细心的读者可能已经发现了与
假设我们的训练数据集是
我们的目标是找到一个函数,比如线性函数
如果数据离回归函数的偏差
所以约束条件是保证更多多的数据点都在灰色范围内(拟合最佳的线性回归函数,使得更多的点落在我们接受的精度范围内),即
如同SVM中一样的,在多数情况下转换为对偶问题更容易计算。同时还可以计算出
详细推导过程看文献1。
使用核函数的ϵ−SVR
文献2
ν−SVR
Chang and Lin (2002) prove that
其实两种SVR在满足一定条件下,具有相同的解。
优缺点分析
Scikit代码
#-*-coding:utf-8-*- import numpy as np from sklearn.svm import SVR import matplotlib.pyplot as plt ############################################################################### # Generate sample data X = np.sort(5 * np.random.rand(40, 1), axis=0) #产生40组数据,每组一个数据,axis=0决定按列排列,=1表示行排列 y = np.sin(X).ravel() #np.sin()输出的是列,和X对应,ravel表示转换成行 ############################################################################### # Add noise to targets y[::5] += 3 * (0.5 - np.random.rand(8)) ############################################################################### # Fit regression model svr_rbf10 = SVR(kernel='rbf',C=100, gamma=10.0) svr_rbf1 = SVR(kernel='rbf', C=100, gamma=0.1) svr_rbf1 = SVR(kernel='rbf', C=100, gamma=0.1) #svr_lin = SVR(kernel='linear', C=1e3) #svr_poly = SVR(kernel='poly', C=1e3, degree=3) y_rbf10 = svr_rbf10.fit(X, y).predict(X) y_rbf1 = svr_rbf1.fit(X, y).predict(X) #y_lin = svr_lin.fit(X, y).predict(X) #y_poly = svr_poly.fit(X, y).predict(X) ############################################################################### # look at the results lw = 2 #line width plt.scatter(X, y, color='darkorange', label='data') plt.hold('on') plt.plot(X, y_rbf10, color='navy', lw=lw, label='RBF gamma=10.0') plt.plot(X, y_rbf1, color='c', lw=lw, label='RBF gamma=1.0') #plt.plot(X, y_lin, color='c', lw=lw, label='Linear model') #plt.plot(X, y_poly, color='cornflowerblue', lw=lw, label='Polynomial model') plt.xlabel('data') plt.ylabel('target') plt.title('Support Vector Regression') plt.legend() plt.show()
RBF不同参数:
不同核函数:
主要参考文献
(1)A Tutorial on Support Vector Regression ,Alex J
http://www.svms.org/regression/SmSc98.pdf
(2)LIBSVM:A library for Support Vector-Machines Chih-Chung Chang and Chih-Jen Lin
(3)支持向量机回归算法研究 硕士学位论文
0 0
- 支持向量机学习之3-SVR(回归)
- 支持向量机学习之3-SVR(回归)
- 机器学习:SVR支持向量机回归
- 【机器学习】SVR支持向量机回归
- 数学之路(3)-SVR-支持向量回归
- 支持向量机回归分析(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- 支持向量机(SVM)、支持向量回归(SVR)
- SVM-支持向量机学习(5):SVR-支持向量回归
- 支持向量回归-SVR
- 机器学习二十二:支持向量机回归SVR
- 博客代码大全
- 原来几百万的公众号是这样做起来的
- 抓牛
- Python_大众点评网站数据爬虫
- Android USB驱动源码分析
- 支持向量机学习之3-SVR(回归)
- codevs1851 越狱
- 缴费项目总结第一篇
- HTML Input 属性
- 1097. Deduplication on a Linked List (25)
- 字符串的全排列和组合算法
- STM32网络通信之DM9000了解
- HDU 5727 Necklace
- Linux程序设计——管道