自己在libSvm中SMO算法中KKT条件的理解误区(还不确定)
来源:互联网 发布:linux jdk1.8 编辑:程序博客网 时间:2024/06/09 23:29
在libsvm中,分类和回归都是基于的同一个SMO算法的Solver类,根据林智仁的文章A Library for Support Vector Machines,最终的二次规划问题可统一表示为:
其中,eps-svr的具体形式是:
统一之后,文献中说道的根据KKT条件选择合适的alpha,只要上式11满足当且仅当一个数字b,和两个非负向量lambda和xi:
这里的KKT条件是针对式11的,之前一直以为是将原始问题转化为拉格朗日函数时,原问题中的约束要遵守的KKT条件,然后就一直迷糊了好多天,后来才想明白应该是式11转化为拉格朗日函数求解极小值时要遵守的KKT条件。原问题的KKT条件是为了确保原问题能够取得极小值,和这个不一样。
如果有大神看见这个博客觉得不对,一定要说出来,先谢谢了。因为感觉也不太对,Platt的最开始提出的SMO算法中,KKT条件是对应的原问题的不等式约束,即从对偶问题接触的alpha是原问题中的拉格朗日乘子,原问题中有不等式约束,因此是原问题的约束条件。这两个约束得到的结果是一致的么?先做个记号
图中的公式来自林智仁的文章:
LIBSVM: A Library for Support Vector Machines 这篇文章随着libsvm更新一直在更新,我找到的最新的是2013年的,地址在:
http://www-ai.cs.uni-dortmund.de:8080/LEHRE/FACHPROJEKT/SS14/Papers/libsvm.pdf
其中,eps-svr的具体形式是:
0 0
- 自己在libSvm中SMO算法中KKT条件的理解误区(还不确定)
- LIBSVM的SMO算法(select_working_set)
- LIBSVM的SMO算法(update alpha)
- SVM中KKT条件介绍
- 线性支持向量机中KKT条件的讨论
- SVM中的对偶问题、KKT条件以及对拉格朗日乘子求值得SMO算法
- 关于LibSVM的SMO问题
- 关于Libsvm的SMO问题
- 关于LibSVM的SMO问题
- 理解拉格朗日乘子法和KKT条件
- SVM中求解拉格朗日系数的SMO算法
- SVM中SMO算法的实现理论+代码
- KKT条件的推导
- LIBSVM 在matlab中应用的错误
- 在weka中使用libsvm的方法
- 在MATLAB中使用libSVM的方法
- 深度理解拉格朗日乘子法、KKT条件与线性规划对偶理论的微妙关系(未完)
- 在SQL中对不确定参数问题的解决方案
- BDD1.4更换weblogic端口
- 简说UC/OS的框架及运行
- PAT (Advanced Level) Practise 1125 Chain the Ropes (25)
- java 报错解决集 更新中
- 7 环境搭建
- 自己在libSvm中SMO算法中KKT条件的理解误区(还不确定)
- 翻硬币
- Pupils Redistribution_Codeforces
- Asp.Net 常用工具类之加密——非对称加密RSA算法
- Dojo1.11官方教程文档翻译(6.4)实时Store
- 如何提高Java并发编程中锁的性能
- php 学习,初步知识笔记
- 关于数据结库候选码的个人想法
- TCP/IP卷1 第3章 IP:网际协议