libsvm 中model参数解析
来源:互联网 发布:淘宝店铺logo是什么 编辑:程序博客网 时间:2024/05/08 15:21
=======================================================
本帖子主要就是讲解利用libsvm-mat工具箱建立分类(回归模型)后,得到的模型model里面参数的意义都是神马?以及如果通过model得到相应模型的表达式,这里主要以分类问题为例子。
测试数据使用的是libsvm-mat自带的heart_scale.mat数据(270*13的一个属性据矩阵,共有270个样本,每个样本有13个属性),方便大家自己测试学习。
首先上一个简短的测试代码:
1. %%ModelDecryption
2. % by faruto @faruto's Studio~
3. %http://blog.sina.com.cn/faruto
4. %Email:faruto@163.com
5. %http://www.matlabsky.com
6. %http://www.mfun.la
7. %http://video.ourmatlab.com
8. % last modifiedby 2011.01.06
9. %% a litte cleanwork
10.tic;
11.close all;
12.clear;
13.clc;
14.format compact;
15.%%
16.%首先载入数据
17.loadheart_scale;
18.data =heart_scale_inst;
19.label =heart_scale_label;
20.%建立分类模型
21.model =svmtrain(label,data,'-s 0 -t 2 -c 1.2 -g 2.8');
22.model
23.%利用建立的模型看其在训练集合上的分类效果
24.[PredictLabel,accuracy]= svmpredict(label,data,model);
25.accuracy
26.%%
27.toc;
复制代码
运行结果:
1. model =
2. Parameters: [5x1 double]
3. nr_class: 2
4. totalSV: 259
5. rho: 0.0514
6. Label: [2x1 double]
7. ProbA: []
8. ProbB: []
9. nSV: [2x1 double]
10. sv_coef: [259x1 double]
11. SVs: [259x13 double]
12.Accuracy =99.6296% (269/270) (classification)
13.accuracy =
14. 99.6296
15. 0.0148
16. 0.9851
17.Elapsed time is0.040155 seconds.
复制代码
这里面为了简单起见没有将测试数据进行训练集和测试集的划分,这里仅仅是为了简单明了而已,分类结果估计可以不要管,参数优化也不要管,另有帖子讲解。
下面我们就看看 model这个结构体里面的各种参数的意义都是神马,model如下:
model =
Parameters: [5x1 double]
nr_class: 2
totalSV: 259
rho: 0.0514
Label: [2x1 double]
ProbA: []
ProbB: []
nSV: [2x1 double]
sv_coef: [259x1 double]
SVs: [259x13 double]
model.Parameters
我们先来看一下model.Parameters里面承装的都是什么:
1. >>model.Parameters
2. ans =
3. 0
4. 2.0000
5. 3.0000
6. 2.8000
7. 0
复制代码
重要知识点:
model.Parameters参数意义从上到下依次为:
-s svm类型:SVM设置类型(默认0)
-t 核函数类型:核函数设置类型(默认2)
-d degree:核函数中的degree设置(针对多项式核函数)(默认3)
-g r(gama):核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数) (默认类别数目的倒数)
-r coef0:核函数中的coef0设置(针对多项式/sigmoid核函数)((默认0)
即在本例中通过model.Parameters我们可以得知 –s参数为0;-t参数为 2;-d参数为3;-g参数为2.8(这也是我们自己的输入);-r参数为0。
关于libsvm参数的一点小说明:
Libsvm中参数设置可以按照SVM的类型和核函数所支持的参数进行任意组合,如果设置的参数在函数或SVM类型中没有也不会产生影响,程序不会接受该参数;如果应有的参数设置不正确,参数将采用默认值。
model.Label model.nr_class
1. >>model.Label
2. ans =
3. 1
4. -1
5. >>model.nr_class
6. ans =
7. 2
复制代码
重要知识点:
model.Label表示数据集中类别的标签都有什么,这里是 1,-1;
model.nr_class表示数据集中有多少类别,这里是二分类。
model.totalSV model.nSV
1. >>model.totalSV
2. ans =
3. 259
4. >>model.nSV
5. ans =
6. 118
7. 141
复制代码
重要知识点:
model.totalSV代表总共的支持向量的数目,这里共有259个支持向量;
model.nSV表示每类样本的支持向量的数目,这里表示标签为1的样本的支持向量有118个,标签为-1的样本的支持向量为141。
注意:这里model.nSV所代表的顺序是和model.Label相对应的。
model.ProbA model.ProbB
关于这两个参数这里不做介绍,使用-b参数时才能用到,用于概率估计。
-bprobability_estimates: whether to train a SVC or SVR model for probabilityestimates, 0 or 1 (default 0)
model.sv_coef model.SVs model.rho
1. sv_coef: [259x1 double]
2. SVs: [259x13 double]
3. model.rho = 0.0514
复制代码
重要知识点:
model.sv_coef是一个259*1的矩阵,承装的是259个支持向量在决策函数中的系数;
model.SVs是一个259*13的稀疏矩阵,承装的是259个支持向量。
model.rho是决策函数中的常数项的相反数(-b)
在这里首先我们看一下通过 –s 0参数(C-SVC模型)得到的最终的分类决策函数的表达式是怎样的?
这里如果有关于C-SVC模型不懂的地方,请看这个pdf文件:
libsvm_library.pdf
附件:
libsvm_library.pdf (316.82 KB,下载次数:18353)
最终的决策函数为:
在由于我们使用的是RBF核函数(前面参数设置 –t 2),故这里的决策函数即为:
其中|| x-y ||是二范数距离 ;
这里面的
b就是-model.rho(一个标量数字);
b = -model.rho;
n代表支持向量的个数即 n = model.totalSV(一个标量数字);
对于每一个i:
wi =model.sv_coef(i); 支持向量的系数(一个标量数字)
xi = model.SVs(i,:) 支持向量(1*13的行向量)
x 是待预测标签的样本(1*13的行向量)
gamma 就是 -g参数
好的下面我们通过model提供的信息自己建立上面的决策函数如下:
1. %%DecisionFunction
2. function plabel= DecisionFunction(x,model)
3.
4. gamma =model.Parameters(4);
5. RBF = @(u,v)(exp(-gamma.*sum( (u-v).^2) ) );
6.
7. len =length(model.sv_coef);
8. y = 0;
9.
10.for i = 1:len
11. u= model.SVs(i,:);
12. y= y + model.sv_coef(i)*RBF(u,x);
13.end
14.b = -model.rho;
15.y = y + b;
16.
17.if y >= 0
18. plabel = 1;
19.else
20. plabel = -1;
21.end
复制代码
有了这个决策函数,我们就可以自己预测相应样本的标签了:
1. %%
2. plable =zeros(270,1);
3. for i = 1:270
4. x= data(i,:);
5. plabel(i,1) = DecisionFunction(x,model);
6. end
7.
8. %%验证自己通过决策函数预测的标签和svmpredict给出的标签相同
9. flag =sum(plabel == PredictLabel)
10.over = 1;
复制代码
最终可以看到 flag = 270,即自己建立的决策函数是正确的,可以得到和svmpredict得到的一样的样本的预测标签,事实上svmpredict底层大体也就是这样实现的。
最后我们来看一下,svmpredict得到的返回参数的意义都是什么
在下面这段代码中 :
1. %%
2. %首先载入数据
3. loadheart_scale;
4. data =heart_scale_inst;
5. label =heart_scale_label;
6. %建立分类模型
7. model =svmtrain(label,data,'-s 0 -t 2 -c 1.2 -g 2.8');
8. model
9. %利用建立的模型看其在训练集合上的分类效果
10.[PredictLabel,accuracy]= svmpredict(label,data,model);
11.accuracy
复制代码
运行可以看到
1. model =
2. Parameters: [5x1 double]
3. nr_class: 2
4. totalSV: 259
5. rho: 0.0514
6. Label: [2x1 double]
7. ProbA: []
8. ProbB: []
9. nSV: [2x1 double]
10. sv_coef: [259x1 double]
11. SVs:[259x13 double]
12. Accuracy = 99.6296% (269/270) (classification)
13. accuracy =
14. 99.6296
15. 0.0148
16. 0.9851
复制代码
这里面要说一下返回参数accuracy的三个参数的意义。
重要的知识点:
返回参数accuracy从上到下依次的意义分别是:
分类准率(分类问题中用到的参数指标)
平均平方误差(MSE (mean squared error)) [回归问题中用到的参数指标]
平方相关系数(r2 (squared correlation coefficient))[回归问题中用到的参数指标]
其中mse和r2的计算公式分别为:
插图:
写在后面的话,至此关于model中相应参数的一些意义,以及到底如果得到决策函数的表达式或者计算方式的就算是说的很明了了。
可能还有的同学会问,如何得到分类决策函数中的那个alpha系数【这个肯定会有人问】,还是再磨叽说一下吧:
上面的wi其实是alpha和支持向量的类别标签(1或-1的乘积),原始决策函数的表达式如下:
插图:
上面的yi是支持向量的类别标签(1或者-1),在libsvm中将yi和alpha的乘积放在一起用model.sv_coef(w)来承装。
都说到这份上,应该能明白了吗?
再说点废话:就是在关于SVM的学习中,我发现很多朋友都不主动思考和尝试,老是在问,这样很不好,这样很被动,上面这些也没有人教我,都是我自己思考出来,然后编程验证,如果出现不合理的地方就再继续思考,反正道理和书籍里面都有讲解,总能洞穿的啊。O(∩_∩)O•
Anyway,有关于SVM的问题还是可以一起探讨的,但您首先要独立思考一下下才好,您说是不是~
PS:预祝大家春节愉快
by faruto 2011.01.06
- libsvm 中model参数解析
- libsvm 多分类中model参数
- LIBSVM中参数的意义
- 利用libsvm-mat建立分类模型model参数解密
- RandomAccessFile 中model参数
- libsvm中-b参数(matlab)
- LIBSVM参数
- libsvm 训练MODEL
- libsvm+detector_(libsvm参数说明)
- 【教程】利用libsvm-mat建立分类模型model参数解密【by faruto】
- 关于matlab 中libsvm中model中的保存与调用新发现
- libsvm中参数c与g的调整
- 在libsvm中如何求最佳参数c和gamma
- libsvm中grid.py参数自动寻优
- matlab中libsvm训练的svm分类器model保存/读写文件接口
- Matlab中Latent SVM model参数含义
- libsvm 参数优选(转)
- libsvm参数说明
- #define SYSTEMSERVICE(_func) KeServiceDescriptorTable.ServiceTableBase[ *(PULONG)((PUCHAR)_func+1) 这
- POJ3650----The Seven Percent Solution
- hdu3374(最小表示法+KMP)
- lua模拟类的继承
- 将博客搬至CSDN
- libsvm 中model参数解析
- HM使用之2 Working Directory的解释
- opencv 矩阵的相似性对比 (图片之间比较)
- 面试题13之大数的四则运算(续)
- MyGUI_Orge官网教程_3.在windows皮肤中添加按钮
- 每天写出好代码的5个建议
- sigaction 详解
- Java利用JDBC访问数据库的编程步骤
- Debian镜像源服务器的架设