logistic回归

 

一、logistic回归是用来干什么的？
二、logistic回归的原理
三、算法
四、优化总结

 

一、用于二分类问题，比如分析一头牛犯病的可能性，犯病为1，不犯病为0，由犯病的概率来判断是否犯病；判断一封邮件是否是垃圾邮件；分析天气是否下雨。这些问题都是二分类问题。

二、以上二分类问题用函数表示的话，因变量不是1就是0，那么用海维赛德函数（单位阶跳跃函数）表示并不好来表达，无法表示因为概率来显示的结果，在0到1瞬间跳跃很难处理，于是就引进了sigmoid函数来进行分析。

 

将sigmoid函数扩展到多维面上，z就变成了一个向量ΘTX的，即：

X为变量，Θ为参数向量，ΘT是Θ的转置，由行变列。ΘTX为矩阵乘法。说白里就是在原有的基础上给各个特征乘上一个参数，再带入sigmoid函数中，结果大于0.5就为1，否则就为0。

现在的问题就是如何求这个Θ向量，就用到下面的梯度上升最优算法。

三、梯度上升最优算法

《机器学习实战》中并没有讲梯度上升算法中的梯度迭代公式的推导过程，只是讲解了Python的代码。

推导过程非常复杂和困难，这里我也只给出梯度迭代公式：

 

Θj经过无数次的迭代过程最终会得到要求的向量Θ，α为步长，x和y都是已知的训练集的数据。y为一组数据的分类结果，x为一组特征向量。Θj的初值是全为1的向量。

算法伪代码：

回归系数Θ初始化为1

规定步长α和迭代次数R

for循环R次

计算整个数据集的梯度和误差

使用梯度上升最优算法更新回归系数

返回回归系数

详见代码1

注意：1、矩阵相乘的条件，有几个地方是需要矩阵的转置

      2、α越小，R越大，精度越高，同时时间复杂度就越高

四、优化和总结

1、梯度上升算法不止这一种，《机器学习实战》中还给出了一种随机梯度上升算法，区别在于变量和误差都是向量，需要矩阵的转换，连步长都每次迭代更新调整，详见代码2。

2、优点：计算代价不高，易于理解和实现。

  缺点：容易欠拟合，分类精度可能不高。梯度迭代公式那推导，过程难理解。

 代码1：

# coding=utf-8import numpy as npfrom numpy import *import randomfrom pylab import *def getData():    dataMat = []    labelMat = []    file = open(r'C:\Users\l\Desktop\testSet.txt', 'r+')    for i in file.readlines():        lineArr = i.strip().split()        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])        labelMat.append(int(lineArr[2]))    return dataMat, labelMat#梯度上升优化算法def gredAscent(x, y):    x = np.mat(x)    y = np.mat(y).transpose()    print 'x:',x    print 'y:',y    m,n = x.shape    a = 0.001    num = 500    w = np.ones((n, 1))    for i in range(num):        h = sigmoid(x*w)        loss = y - h        w = w + a*x.transpose()*loss    return wdef sigmoid(Inx):    return 1.0/(1+exp(-Inx))def plotBestFit(weights):    import matplotlib.pyplot as plt    dataMat,labelMat=getData()    dataArr = array(dataMat)    n = shape(dataArr)[0]     xcord1 = []; ycord1 = []    xcord2 = []; ycord2 = []    for i in range(n):        if int(labelMat[i])== 1:            xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])        else:            xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])    fig = plt.figure()    ax = fig.add_subplot(111)    ax.scatter(xcord1, ycord1, s=30, c='red', marker='s')    ax.scatter(xcord2, ycord2, s=30, c='green')    x = arange(-3.0, 3.0, 0.1)    y = (-weights[0]-weights[1]*x)/weights[2]    print x    print y    ax.plot(x, y)    plt.xlabel('X1'); plt.ylabel('X2');    plt.show()def main():    x, y = getData()    w = gredAscent(x, y)#w为向量Θ    print w    plotBestFit(w.getA())if __name__ == '__main__':    main()    

代码2：

#梯度上升优化算法def bestgetgredAscent(x, y, num):    n,m = shape(x)    w = ones(m)    for j in range(num):        dataIndex = range(n)        for i in range(n):            a = 4/(1.0+j+i)+0.0001            randIndx = int(np.random.uniform(0, len(dataIndex)))            h = sigmoid(sum(x[randIndx]*w))            loss = y[randIndx] - h            w = w + np.dot(x[randIndx], a*loss)            del(dataIndex[randIndx])    return w