《统计学习方法笔记》——Logistic回归

Logistic回归简介

假设有一些数据点，我们利用一条直线对这些数据点进行拟合（该线称为最佳拟合直线），这个拟合过程就称为回归。利用Logistic进行回归的主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类。

算法流程

1.优化目标函数

需要的函数应该是可以接受所有的输入然后预测出类别。
例如，在两类的情况下，上述函数输出0或1。海维塞德阶跃函数或者直接称为单位阶跃函数满足这一性质。然而，海维塞德阶跃函数存在以下问题：该函数在跳跃点上从0瞬间跳跃到1，这个瞬间过程很难处理。因此，我们一般选择Sigmoid函数。Sigmoid函数具体公式如下：

σ(z)=11+e−z

当x为0时。sigmoid函数值为0.5。随着x的增大，sigmoid函数值趋近于1；而随着x的减小,sigmoid函数值趋近于0。当横坐标足够大时，sigmoid函数看起来很像一个阶跃函数。
为了实现logistic回归分类器，可以在每个特征上都乘以一个回归系数，然后吧所有的结果值想家，将这个综合带入sigmoid函数中，进而得到一个范围在0-1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以Logistic回归也可以被看成是一种概率估计。

2.基于最优化方法的最佳回归系数确定

sigmoid函数的输入记为z,由下面公式得出：

z=w0x0+w1x1+w2x2+...+wnxn

如果采用向量的写法，上述公式可以写成z=wTx,它表示将这两个数值向量对应元素相乘然后全部加起来得到z值。其中的向量x是分类器的输入数据，向量w是我们要找到的最佳系数，从而使得分类器尽可能的精确。

1. 梯度上升法
   梯度上升法基本的思想是：找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。梯度上升算法的迭代公式如下所示：

   w:=w+α▽wf(w)
   
   步长为α,该公式将一直被迭代执行，直到达到某个停止条件为止，比如迭代次数达到某个指定值或算法达到某个可以允许的误差范围。
   梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。

2. 随机梯度上升
   梯度算法一次处理所有数据,是“批处理”。
   梯度算法问题：由于梯度上升算法在每次更新回归系数时，都要遍历真个数据集，当数据量很大时，该方法的计算复杂度就太高了。梯度上升算法在迭代过程中系数会出现一些小的周期性波动，产生这种现象的原因是存在一些不能正确分类的样本点（数据集并非线性可分）。而且收敛速度也需要加快。
   随机梯度上升算法一次仅使用一个样本来更新回归系统，在新样本到来时对分类器进行增量式更新，是“在线学习”算法。
   随机梯度上升算法的改进：1）步长在每次迭代的时候都会调整，以此来缓解数据波动或高频波动。
   2）随机选择样本来更新回归系数。这样减少周期性的波动。

优缺点及适用范围

优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型数据。