线性可分支持向量机学习算法——最大间隔法

算法：

输入：线性可分训练数据集 T={(x1,y1),(x2,y2),⋯,(xN,yN)}，其中，xi∈Rn,yi∈{−1,+1}
输出：最大间隔分离超平面和分类决策函数 .
(1) 构造并求解约束最优化问题：

minw,b12∥w∥2s.t.yi(wi⋅xi+b)−1≥0,i=1,2,⋯,N

求解最优解 w∗，b∗ .
(2) 由此得到分离超平面：

w∗⋅x+b∗=0

分类决策函数

f(x)=sign(w∗⋅x+b∗)

导出思路：

求得一个几何间隔最大的分离超平面，即为约束最优化问题：

maxw,bγs.t.yi(w∥w∥⋅xi+b∥w∥)≥γ,i=1,2,⋯,N

考虑到函数间隔和几何间隔的关系，最优化问题改写为

maxw,bγ^∥w∥s.t.yi(w⋅xi+b)≥γ^,i=1,2,⋯,N

函数间隔 γ^ 并不影响最优化问题的解，取 γ^=1，并注意到最大化 1∥w∥ 和最小化 12∥w∥2 等价，所以最优化问题变为

minw,b12∥w∥2s.t.yi(wi⋅xi+b)−1≥0,i=1,2,⋯,N

一点说明：

函数间隔

γ^=mini=1,⋯,Nγ^i=yi(w⋅xi+b)

几何间隔

γ=mini=1,⋯,Nγi=yi(w⋅xi+b)∥w∥