《统计学习方法》笔记(十一)--SMO

来源:互联网 发布:绿色贸易壁垒的数据 编辑:程序博客网 时间:2024/06/15 09:57

SMO(Sequential Minimal Optimization)序列最小最优化

是一种高效的实现SVM的方法,是一种启发式算法

目标仍然是解决凸二次规划的对偶问题。

通过解决多变量问题的子问题,即两个变量的二次规划,来解决对偶问题。这样做的好处是每一个子问题可以得到解析解而不是迭代的数值解,这样就可以提高计算速度。

SMO包含两个部分:求解两个变量二次规划的解析方法以及选择变量的启发式算法

1.求解析解

固定其他变量,以a1,a2为某一步的变量

对目标进行优化处理

2.变量选择

第一个变量的选择要选取违反KKT条件最严重的点进行优化,第二个变量选择变化足够大的那个,具体的说就是|E1-E2|最大的

0 0
原创粉丝点击