logistic 回归（二）

学会了简单的logistic的回归后，一定会发现这个函数无法适用于大规模数据，因为数据量太大的时候，计算量的规模是几何式增长的。接下来我们讨论下如何优化logistic回归，现在我们来写个简单的优化函数：

def stocGradAscent0(dataMatrix, classLabels):    m,n = shape(dataMatrix)    alpha = 0.01    weights = ones(n)   #initialize to all ones    for i in range(m):        h = sigmoid(sum(dataMatrix[i]*weights))        error = classLabels[i] - h        weights = weights + alpha * error * dataMatrix[i]    return weights

当然这个函数依然非常简单，感觉是否没有什么变化，相对于前面的梯度优化，但是仔细观察发现这个随机梯度优化使用的是简单的单个值，而非矩阵，这样计算量就减少为原来的1/n,嘿嘿。当然天下没有免费的午餐，这种优化的后果当然是精度损失了。不过这种损失在数据量比较大的时候还是可以原谅的。

下面来一种精度和效率兼顾的方式，这种方法比前面的一种稍显复杂了一点。我们来看代码吧。

def stocGradAscent1(dataMatrix, classLabels, numIter=150):    m,n = shape(dataMatrix)    weights = ones(n)   #initialize to all ones    for j in range(numIter):        dataIndex = range(m)        for i in range(m):            alpha = 4/(1.0+j+i)+0.0001    #apha decreases with iteration, does not             randIndex = int(random.uniform(0,len(dataIndex)))#go to 0 because of the constant            h = sigmoid(sum(dataMatrix[randIndex]*weights))            error = classLabels[randIndex] - h            weights = weights + alpha * error * dataMatrix[randIndex]            del(dataIndex[randIndex])    return weights

呵呵，这样我们的logistic回归的大多数方法就都实现了。当然还少了测试部分的代码：

def classifyVector(inX, weights):    prob = sigmoid(sum(inX*weights))    if prob > 0.5: return 1.0    else: return 0.0

这样所有的代码就都有了，然后我们就可以使用这些东西来做点事情了。好了logistic回归我也刚刚理解了，至于高深的优化目标函数，这里就先不拿出来了，因为我也没看懂，O(∩_∩)O哈哈~