浅谈逻辑回归

　　逻辑回归是我们经常使用的一种模型，网上介绍的文章很多，所以逻辑回归的详细内容这里就不介绍了。我的问题是：我们为什么要使用逻辑回归？跟其它分类、回归模型相比，逻辑回归有什么特点？

逻辑回归的特点

　　逻辑回归使用逻辑斯谛函数定义输出值，做为样本分类的概率，然后对样本进行极大似然估计，来求得最优参数θ。
逻辑斯谛函数(又称sigmoid函数)的表达式为：
σ(x)=11+e−x (1)
其函数图像如下：

　　　　　　　　图1.
我们要最大化的目标即极大似然概率为：
L(θ)=∏P(y|x;θ) (2)
即为每个样本概率的乘积。
　　由图1我们可以看出，逻辑斯谛函数在x=0附近变化较快，而在离开x=0时变化速度迅速减小，直至接近于0。
　　如果Q: θx = 0为逻辑回归的回归平面，平面上的点对应于图1中x=0处，可以看到，在离回归平面较近时(即x=0附近)，函数值的变化较快。因为极大似然估计为每个样本概率的乘积，所以导致L(θ)的变化较快，即离回归平面近的点对回归平面的影响较大。而那些远离回归平面的点，它们的概率接近1，变化速度接近于0，回归平面发生变化时它们的概率变化极小，所以它们对回归平面的变化影响很小。
　　结果就是离回归平面近的样本对回归平面产生较大影响，离回归平面远的样本对回归平面产生较小的影响，并且随着距离的增大，对回归平面的影响迅速减小，甚至可以忽略。
　　这就是逻辑回归的特点，也是逻辑斯谛函数的特点。
　　事实上人们发现现实生活中很多问题都表现出逻辑斯谛函数S形曲线的特点，所以逻辑斯谛函数被广泛采用在很多问题的建模上，如人口增长、信息传播等。这可能也是逻辑回归被我们大量使用的原因。

LMSE回归

相比之下，我们再来看一下LMSE(最小均方误差)回归。
LMSE回归使用均方误差来做为回归的损失函数，表达式为：
E=∑(θx−t)2　　(3)
我们的目标是使E最小。
x2是一个二次函数，它的函数曲线如下：

　　　　　　图2.
由图可以看出，函数在远离x=0时函数变化逐渐加快。
　　在图像上就是那些离平面θx - t = 0较远的点对回归平面的影响较大，而离平面θx - t = 0较近的点对回归平面的影响较小。
　　由于目标值t有两个取值1和-1，所以上述平面θx - t = 0相当于有两个：θx - 1 = 0和θx + 1 = 0，最终的回归平面θx = 0在这两个平面的中间。所以结果是，离回归平面较近和较远的样本都对回归平面产生较大影响，而只有那些离回归平面距离“适中”，即接近于θx=t的点对回归平面的影响较小。

支持向量机

　　支持向量机是使离分离平面最近的点到分离平面的距离最大。
　　那些离分离平面最近的点称为支持向量，支持向量机的分离平面完全由支持向量决定，跟其它的样本无关。

逻辑回归, LMSE回归与支持向量机相比较

　　下面是用上述三种模型做分类时的一个简单示例，图中样本的分布不对称，绿色样本有两个点离其它样本的位置较远：

　　　　　　　　　　　　图3.　　　　　
上图中三种模型的分离平面与我们上面的论述相一致：
逻辑回归的回归平面受离回归平面近的点的影响较大，受离回归平面远的点的影响较小。
LMSE回归的回归平面受左上角两个绿色样本的影响而向上倾斜。
支持向量机的分离平面只由两个支持向量决定。

　　另外我们看到，在本例中逻辑回归和支持向量机得到的分离平面很接近，但是支持向量机的推导和训练过程要比逻辑回归复杂很多。所以加州理工学院的Yaser教授说，支持向量机像一辆豪华轿车，它很好，但是我们要为之付出更多的代价，逻辑回归像一辆家用轿车，它比较廉价，但是可以拉我们去我们想去的地方。