支持向量机

支持向量：与分离超平面距离最近的样本点的实例

svm优缺点

优点：泛化错误率低，计算开销不大，结果易解释
缺点：对参数调节和核函数选择敏感，原始分类器不加修改仅适用于处理二分类问题
适合数据类型：数值型和标称型数据

SMO算法的工作原理：

每次循环中选择两个alpha进行优化处理。一旦找到一对合适的alpha，那么久增大其中一个同时减小另一个。这里所谓的”合适”就是指两个alpha必须要符合一定的条件，条件之一就是这两个alpha必须要在间隔边界之外，而其第二个条件则是这两个alpha 还没有进行过区间化处理或者不在边界上

SMO伪代码

创建一个alpha向量并将其初始化为0向量
当迭代次数小于最大迭代次数时(外循环)
对数据集中的每个数据向量(内循环)
如果该数据向量可以被优化
随机选择另外一个数据向量
同时优化这两个向量
如果两个向量都不能被优化，退出内循环
如果所有向量都没有被优化，增加迭代次数，继续下一次循环

除了下述代码外，也可下载直接libsvm使用

采用LibSVM软件流程：

1. 按照LIBSVM软件包所要求的格式准备数据 label [index1]:[value1] [index2]:[value2],…
   如2.3 1：5.6 2：3.2
   label=2.3 有2维，第一维是5.6 第二维是 3。2
2. 对数据进行简单的缩放操作，即数据归一化
3. 首选RBF核函数
4. 采用交叉验证选择最佳参数c和g
5. 选择参数后，对整个训练数据集进行训练，并获取svm模型
6. 利用获取的模型进行测试
   ##LibSVM使用说明
7. 先将数据按照value1,value2,value3,…,label存放，然后粘到FormatDataLibSVM.xls中，工具->宏->执行，选择FormatDataToLibSVM宏就可以得到满足LibSVM格式的数据
8. svm-scale.exe将数据进行缩放到适当范围，使得训练和测试速度加快
9. svm-train.exe 训练data，生成model
10. 核函数

 - 线性核 1.多项式核 2.RBF核(高斯核，径向基核函数) 3.sigmoid核 4.precomputed.kernel 自定义核函数

options (选择分类还是回归，选择前面相应的

0-c-svc 多类1-n-svc 多类2-one-class-svm 单类3-e-svr 回归4-n-svr 回归

• -g设置核函数中的g，默认为1k
• -k是输入数据中的属性个数
• -v 交叉验证，随机将数据划分为n部分(n折交叉)，并计算交叉验证和均方根误差
• -h shrinking 是否使用启发式 默认为1，可取值为0或者1
• -p e 设置n-svr的损失函数e，默认为0.1
• -c cost 设置 c-svc,one-class- svm 与n-svr 惩罚系数，c默认为1

SVM（smo）代码展示,非libsvm：

# coding=utf-8# __author__=Eshter Yuu#无需言，做自己import numpy as npdef loadDataSet(filename):    dataMat = []; labelMat =[]    fr =open(filename)    for line in fr.readlines():        lineArr = line.strip().split('\t')        dataMat.append([float(lineArr[0]),float(lineArr[1])])        labelMat.append(float(lineArr[2]))    return dataMat, labelMat##i是alpha的下标，m是所有alpha的数目#找到一个不同下标i的下标def selectJrand(i,m):    j =i    while(j==i):        j = int(np.random.uniform(0,m))    return j#调整大于H或者小于L的alpha值def clipAlpha(aj,H,L):    if aj > H:        aj = H    if L > aj:        aj =L    return aj##简化版的SMO算法def smoSimple(dataMat, classLabels, C, toler, maxIter):    dataMatrix = np.mat(dataMat); labelMat = np.mat(classLabels).transpose()    b =0;    m,n = np.shape(dataMatrix)    print(m,n)    alphas = np.mat(np.zeros((m,1)))    iter = 0    while(iter < maxIter):        alphaParisChanged =0        for i in range(m):#第二层内循环            fXi = float(np.multiply(alphas,labelMat).T* (dataMatrix*dataMatrix[i,:].T))+b            Ei = fXi -float(labelMat[i])            if ((labelMat[i] * Ei < - toler) and (alphas[i] < C))or ((labelMat[i] * Ei> toler ) and (alphas[i] > 0)):                j = selectJrand(i,m)                fXj = float(np.multiply(alphas, labelMat).T * (dataMatrix *dataMatrix[j,:].T)) +b                Ej =fXj -float(labelMat[j])                alphaIold = alphas[i].copy()                alphaJold = alphas[j].copy()                if (labelMat[i] != labelMat[j]):                    L = max(0, alphas[j] -alphas[i] )                    H = min(C, C + alphas[j]-alphas[i])                else:                    L = max(0, alphas[j] +alphas[i] -C)                    H= min(C, alphas[j]+alphas[i])                if L ==H:                    print('L==H')                    continue                eta =2.0* dataMatrix[i,:] * dataMatrix[j,:].T - dataMatrix[i,:] *dataMatrix[i,:].T -dataMatrix[j,:] *dataMatrix[j,:].T                if eta >= 0:                    print("eta >=0")                    continue                alphas[j] -= labelMat[j]*(Ei-Ej)/eta                alphas[j] = clipAlpha(alphas[j], H,L)                if (abs(alphas[j] -alphaJold) < 0.00001):                    print("j not muving enough")                    continue                alphas[i] += labelMat[j] * labelMat[i]*(alphaJold -alphas[j])                b1 = b- Ei - labelMat[i] *(alphas[i] - alphaIold)* dataMatrix[i,:] *dataMatrix[i,:].T - \                    labelMat[j] *(alphas[j] - alphaJold)*dataMatrix[i,:] *dataMatrix[j,:].T                b2 = b-Ej- labelMat[i]*(alphas[i] -alphaIold) * dataMatrix[i,:]*dataMatrix[j,:].T -\                    labelMat[j] *(alphas[j] -alphaJold)* dataMatrix[j,:] *dataMatrix[j,:].T                if (0< alphas[i]) and(C > alphas[i]):b =b1                elif (0< alphas[j]) and(C> alphas[j]):b= b2                else: b=(b1+b2)/2.0                alphaParisChanged +=1                print("iter: %d i: %d, paris changed %d"%(iter, i, alphaParisChanged))        if alphaParisChanged ==0 : iter +=1        else: iter = 0        print("iteration number:%d"% iter)    return b,alphasdataArr ,labelArr = loadDataSet('testSet.txt')m,n = np.shape(np.mat(labelArr).transpose())print(m,n)b, alphas =smoSimple(dataArr,labelArr,0.6, 0.001, 40)print('b=',b, '\n', 'alphas>0',alphas[alphas>0])