libSVM简介及核函数模型选择
来源:互联网 发布:易知是什么意思 编辑:程序博客网 时间:2024/05/16 06:52
1. libSVM简介
训练模型的结构体
struct svm_problem //储存参加计算的所有样本
{
int l; //记录样本总数
double *y; //指向样本类别的组数
struct svm_node **x;//数据样本
};
当样本类别事先已经被告知时,可以通过数字来给样本数据进行标识(如果是两类通常以1与-1来表示)。如果不清楚样本类别可以用样本个数编号来设置,这时候分类的准确率也就无法判定了。
数据样本是一个二维数组,其中每个单元格储存的是一个svm_node,y与样本数据的对应关系为:
数据节点的结构体
struct svm_node //储存单一向量的单个特征
{
int index; //索引
double value; //值
};
如果需要储存向量x=(1,121,12321,121,1),就可以使用6个svm_node来保存,内存映像为:
index
1
2
3
4
5
-1
value
1
121
12321
121
1
NULL
注意:向量是以索引值为-1的元素为结束标志位的。如果没有标志位将导致程序崩溃。
SVM模型类型枚举
enum { C_SVC, NU_SVC, ONE_CLASS, EPSILON_SVR, NU_SVR };
C_SVC:C表示惩罚因子,C越大表示对错误分类的惩罚越大
NU_SVC:和C_SVC相同。
ONE_CLASS:不需要类标号,用于支持向量的密度估计和聚类.
EPSILON_SVR:-不敏感损失函数,对样本点来说,存在着一个不为目标函数提供任何损失值的区域,即-带。
NU_SVR:由于EPSILON_SVR需要事先确定参数,然而在某些情况下选择合适的参数却不是一件容易的事情。而NU_SVR能够自动计算参数。
注意:C_SVC与NU_SVC其实采用的模型相同,但是它们的参数C的范围不同,C_SVC采用的是0到正无穷,NU_SVC是[0,1]。
核函数类型枚举
enum { LINEAR, POLY, RBF, SIGMOID, PRECOMPUTED };
LINEAR:线性核函数(linear kernel)
POLY:多项式核函数(ploynomial kernel)
RBF:径向机核函数(radical basis function)
SIGMOID: 神经元的非线性作用函数核函数(Sigmoid tanh)
PRECOMPUTED:用户自定义核函数
只有四个常用核函数,但我们必须决定哪一个是首选。然后是惩罚因子C和核参数的选择。
在支持向量机中使用的核函数主要有四类:
线性核函数:
多项式核函数:
RBF核函数:
Sigmoid核函数:
其中, 和 均为核参数。
究竟用哪一种核函数取决对数据处理的要求,不过建议一般都是使用RBF核函数。因为RBF核函数具有良好的性态,在实际问题中表现出了良好的性能。
1 RBF核
通常而言,RBF核是合理的首选。这个核函数将样本非线性地映射到一个更高维的空间,与线性核不同,它能够处理分类标注和属性的非线性关系。并且,线性核是RBF的一个特例(Keerthi and Lin 2003),因此,使用一个惩罚因子C的线性核与某些参数(C,γ)的RBF核具有相同的性能。同时,Sigmoid核的表现很像一定参数的RBF核(Lin and Link 2003)。
第二个原因,超参数(hyperparameter)的数量会影响到模型选择的复杂度(因为参数只能靠试验呀!)。多项式核比RBF核有更多的超参数。
最后,RBF核有更少的数值复杂度(numerical difficulties)。一个关键点0<Kij<=1对比多项式核,后者关键值需要 infinity(rxiTxj+r>1)或者zero(rxiTxj+r<1),这是高阶运算。此外,我们必须指出sigmoid核在某些参数下不是合法的 (例如,不是两个向量的内积)。(Vapnik 1995)
当然,也存在一些情形RBF核是不适用的。特别地,当特征维数非常大的时候,很可能只能适用线性核。
- svm_type –
指定SVM的类型,下面是可能的取值:
- CvSVM::C_SVC C类支持向量分类机。 n类分组 (n 2),允许用异常值惩罚因子C进行不完全分类。
- CvSVM::NU_SVC 类支持向量分类机。n类似然不完全分类的分类器。参数为 取代C(其值在区间【0,1】中,nu越大,决策边界越平滑)。
- CvSVM::ONE_CLASS 单分类器,所有的训练数据提取自同一个类里,然后SVM建立了一个分界线以分割该类在特征空间中所占区域和其它类在特征空间中所占区域。
- CvSVM::EPS_SVR 类支持向量回归机。训练集中的特征向量和拟合出来的超平面的距离需要小于p。异常值惩罚因子C被采用。
- CvSVM::NU_SVR 类支持向量回归机。 代替了 p。
- kernel_type –
SVM的内核类型,下面是可能的取值:
- CvSVM::LINEAR 线性内核。没有任何向映射至高维空间,线性区分(或回归)在原始特征空间中被完成,这是最快的选择。.
- CvSVM::POLY 多项式内核: .
- CvSVM::RBF 基于径向的函数,对于大多数情况都是一个较好的选择: .
- CvSVM::SIGMOID Sigmoid函数内核:.
- degree – 内核函数(POLY)的参数degree。
- gamma – 内核函数(POLY/ RBF/ SIGMOID)的参数。
- coef0 – 内核函数(POLY/ SIGMOID)的参数coef0。
- Cvalue – SVM类型(C_SVC/ EPS_SVR/ NU_SVR)的参数C。
- nu – SVM类型(NU_SVC/ ONE_CLASS/ NU_SVR)的参数 。
- p – SVM类型(EPS_SVR)的参数 。
- class_weights – C_SVC中的可选权重,赋给指定的类,乘以C以后变成 。所以这些权重影响不同类别的错误分类惩罚项。权重越大,某一类别的误分类数据的惩罚项就越大。
- term_crit – SVM的迭代训练过程的中止条件,解决部分受约束二次最优问题。您可以指定的公差和/或最大迭代次数。
- libSVM简介及核函数模型选择
- libSVM简介及核函数模型选择
- LIBSVM中的SVM类型、核函数及相关参数简介
- LIBSVM使用说明、简介及感悟
- libsvm库简介及使用
- libsvm自定义核函数
- LIBSVM简介
- libsvm简介
- LIBSVM简介
- LIBSVM简介
- opencv SVM核函数模型选择
- liblinear 与libsvm选择
- LIBSVM 的参数选择
- InstallShield 工程简介及选择
- ML之模型评估与选择简介
- Storm简介及计算模型
- libsvm 核函数 交叉验证 参数优化
- LIBSVM使用与自定义核函数
- Ubuntu下Postfix邮件服务器安装及基本的设置
- 嵌入式系统中的代码压缩
- 使用GDI+进行开发的一些问题(9)
- 手把手教你把Vim改装成一个IDE编程环境(图文)
- 用于MSP430的W5200驱动(2013/1/20更新)
- libSVM简介及核函数模型选择
- 通向架构师的道路(第二天)之apache tomcat https应用
- JAVA中修饰符
- Spring3.1.3 + Hibernate4 事务管理简单例子
- SharedPreferences使用
- 使用cdrecord命令刻录光盘
- 如何设计一个优秀的向导式界面(Wizard)
- 软件设计总结图
- android中的单选和多选框