Logistic Regression的思考与整理

在NYU上了Machine Learning，学到了一些以前没有注意或者不知道的知识。在原有部分博文的基础上进行更详细地讲解。

关于回归算法的Bias和Variance

加深了对误差理论的理解。

对于一个输入为x⃗ 的回归算法，我们设算法输出的预测函数为g(x)，算法的真正分类函数为f(x)。我们期望的就是让g(x)尽可能地与f(x)靠近。

我们将f(x)和g(x)当成一个连续函数，那么对于特定的xi，r表示输入数据在该点的值，且f(x)=E[r|xi]（因为输入有噪声的缘故）。

E[(r−g(xi))2|xi] = = E[(r−E[r|xi])2|xi]noise−(E[r|xi]−g(xi))2square error=biasE[(r−f(xi))2|xi]noise−(f(xi)−g(xi))2square error=bias

对于固定的xi和一堆g(xi)（我们可以认为是假设集里的所有函数），那么g(xi)就变成了一个随机变量了。

现在考虑一个长度为N的x⃗ 随机样本，我们希望g(xi)和E[r|xi]是相同的。

Ex⃗ [(E[r|xi]−g(xi))2|xi] = (E[r|xi]−Ex⃗ [g(xi)])2bias of learning alg on xi+E[(g(xi)−Ex⃗ [g(xi)])2]variance of learning alg

其中后者指的是多个函数之间的variance。

例子1

对于如图的输入样例，用一次函数去进行分类，那么我们可以明显地发现，对于特定的xi，g(xi)造成的bias非常大，也就是square error特别大。

但是考虑到假设集合（即，所有一次函数的集合），多个g(x)之间的variance是较小的。反正一次函数变来变去就只有ABC三个参数变，化简一下就只剩下斜率和偏移能够变化了。

那么当我们用五次函数去训练分类的时候，我们可以明显地发现，对于特定的xi，g(xi)造成的bias为0，但是五次函数的variance就明显比一次函数大多了。

所以图1是欠拟合，图2则是过拟合。

例子2

设f(x)=2，在输入的时候没有噪音，即r=f(x)=2。

设计算法：

1. 当第一个输入的样例(x′,r′)中x′>10，则让g(x)=1。
2. 否则。让g(x)=3

对于训练集合，我们让xt均匀得从[0,20]中随机得出。

设

x⃗ ={(4,2),(5,2),(7,2)}

我们可以看得出来这题的算法得出的g(x)的variance为0，但是它的bias却非常大。

关于逻辑回归函数的由来

Logistic函数

看到一个博客上面说逻辑回归为啥叫逻辑回归，是因为它用了Logistic函数。当时我就觉得非常牛逼，这个函数是科学家用硬生生猜出来的么。

现在才知道这个函数也是推导出来的。

我们要预测一个样本x的类别，则需要比较一下在输入为的x条件下，两个类别的概率大小

P[+|x]=yP[−|x]=1−y

我们假设可以假设P[+|x]>P[−|x]。

y>1−y⇒y1−y>1⇒log[y1−y]>0

那么我们就考虑函数f(x)=log(y1−y)。

我们让z=log(y1−y)⇒y=11+e−z，

同时我们让wdxd+⋯+w1x1+w0=z，可以得到

P[+|x]=11+e−wTx+w0

这就是Logistic函数的由来。

损失函数的由来

逻辑回归的损失函数是由log对数损失函数得来的。

输入x1,x2,x3，那么他们的分类是1,1,0的概率是

P[1|x1]×P[1|x2]×P[0|x3]⇒logP[1|x1]+logP[1|x2]+logP[0|x3]

我们让y=P[1|x]，那么对于x1,…,xn得到分类结果是r1,…,rn的概率是

∏t=1n(yt)rt(1−yt)1−rt⇒∑t=1n(log((yt)rt(1−yt)1−rt))=∑t=1n[rtlog(yt)+(1−rt)log(1−yt)]→cross entropy

最后得出的就是交叉熵

而我们的期望是找到w⃗ 来使交叉熵最大，这样等价于找到一个w⃗ 使得交叉熵的相反数最小。

我们可以假设olog0=0。

1. 当rt=1时，cost=−log(yt)
2. 当rt=0时，cost=−log(1−yt)

将以上两个表达式合并为一个，则单个样本的损失函数可以描述为：

cost(x,y)=−rtlog(yt)−(1−rt)log(1−yt)

全体样本的损失函数可以表示为：

cost(r⃗ ,y⃗ )=∑t=1n[rtlog(yt)+(1−rt)log(1−yt)]

这就是逻辑回归最终的损失函数表达式。

大家可以将y=P[1|x]=11+e−wTx+w0带入后进行求导，则可以得到

∂E∂wj=∑t=1nrtxt−∑t=1n(1−11+e−wTx+w0)xt

大家可以发现，使得上面的导数为0，是无法求出解的，所以只能用梯度下降计算

z=sigmoid(a)⇒dzda=z(1−z)⇒∂∂wj=−(rt−yt)∑Xtj

如果再考虑learning rate就可以了。