<机器学习练习>逻辑斯谛回归

一：线性回归

线性回归假设特征和结果满足线性关系。线性回归，就是线性拟合，拟合就是找到那条线，对残差平方和最小的那条直线。
比如说：我们要模拟房子的大小(x1)，房子的位置(x2)。。。对于房价(y)的影响。假设他们是线性关系。则，我们要找的是特征x1,x2... 和房价(y)的关系:

h(θ)=θ0+θ1x1+θ2x2....=θTX

如果我们把θ 这个参数求出来，那么对于新的特征，就可以进行计算预测房价了。
对于θ 的计算，即是求出θ，使得残差平方和最小。

min∑ni=1(h(θ)−yi)22

对于使用，残差平方和来作为损失函数，利用最大似然估计，来给出解释。
由于线性回归模型中，y=θTX+ϵ，其中ϵ 为噪声，其服从高斯分布。也即是y−θTX 服从高斯分布。
对于任意样本xi,yi ，则其条件概率密度为：

则其似然函数为：

然后，对似然函数取对数：

因此，最大似然函数估计θ 等价于残差平方和最小。

二：逻辑斯谛回归

逻辑斯谛回归，名称上是回归，其实是0,1分类。他和线性回归有很大联系。本质上是线性回归到结果中间的映射上，加入一个函数，而这个函数，取为sigmod 函数。首先，对线性回归求和，然后经过sigmod 函数，映射到0,1进行问题分类。

1)逻辑斯谛模型满足的条件概率分布：

如果对于测试样本x，计算不同类别下的概率，即可以分类。所以，目前是利用训练样本进行参数θ 的估计求解。

2)参数θ 的估计求解
利用最大似然法估计模型参数。

  1：写出条件概率分布函数  2：写出似然函数（训练样本满足独立，则其条件概率密度函数连乘）  3：写出对数似然函数，求导，等于0.(参数是个向量，则分别进行求偏导)

对于逻辑斯谛回归来说，是梯度上升法来求对数似然函数的极大值的。

θk+1=θk+a∇L(θ)

其中a是步长。
其中似然函数如下：

当参数是向量时，分部进行求偏导计算。

3)程序

# -*- coding: utf-8 -*-from numpy import *def loadDataSet ():    #构造数据集 和标签    dataMat=[];    labelMat=[];    fr=open('testSet.txt')    for  line in fr.readlines():        lineArr=line.strip().split()        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])   #每个数据集，最前面追加1，x0=1;        labelMat.append(int(lineArr[2]))    return dataMat,labelMatdef sigmoid (inX):                    #sigmoid 函数    return 1.0/(1+exp(-inX))#随机梯度算法，一次迭代 ：分别随机的选择数据，#          进行更新w，进行m次运算def stocGradAscent1 (dataMatrix,classLabels,numIter=150):          m,n=shape(dataMatrix)       #m个数据   n 个特征    weights=ones(n)             #初始化权重    for j in range(numIter):        dataIndex=range(m)        for i in range(m):            alpha=4/(1.0+i+j)+0.01;      # 步长不是定值            randIndex=int(random.uniform(0,len(dataIndex)))            h=sigmoid(sum(dataMatrix[randIndex]*weights))            error=(classLabels[randIndex]-h)            weights=weights+alpha*error*dataMatrix[randIndex]            del(dataIndex[randIndex])    return weights#梯度上生法：  一次迭代，整个数据一次进行运算。def gradAscent (dataMatIn,classLabels):    dataMatrix=mat(dataMatIn)    labelMat=mat(classLabels).transpose()    m,n=shape(dataMatrix)    alpha=0.001    maxCycles=20    weights=ones((n,1))    for k in range(maxCycles):        h=sigmoid(dataMatrix*weights)        error=(labelMat-h)        weights=weights+alpha*dataMatrix.transpose()*error    return weights#画图函数def plotBestFit (wei):    import matplotlib.pyplot as plt    weights=array(wei)    dataMat,labelMat=loadDataSet()    dataArr=array(dataMat)    n=shape(dataArr)[0]    xcord1=[];    ycord1=[];    xcord2=[];    ycord2=[];    for i in range(n):        if int(labelMat[i])==1:            xcord1.append(dataArr[i,1]);            ycord1.append(dataArr[i,2]);        else:            xcord2.append(dataArr[i,1]);            ycord2.append(dataArr[i,2]);    fig=plt.figure()    ax=fig.add_subplot(111)    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')    ax.scatter(xcord2,ycord2,s=30,c='green',marker='s')    x=arange(-3.0,3.0,0.1)    y=(-weights[0]-weights[1]*x)/weights[2]       ##由sigmoid 可知：0=w0+w1*x1+w2*x2为分类线    ax.plot(x,y)    plt.xlabel('X1');    plt.ylabel('X2');    plt.show()

分类的结果：

下面给出对于新样本的分类函数。

  #分类判别      def classifyVector (inX,weights):    prob=sigmoid(sum(inX*weights))    if prob>0.5:        return 1.0    else:        return 0.0

参考文献：
斯坦福机器学习，吴恩达。
《机器学习实战》。