逻辑斯谛回归（Logistic regression）—《统计学习方法》

逻辑斯谛回归（Logistic regression）是统计学习领域的一个经典分类方法，学习李航教授的《统计学习方法》将笔记和一些感悟记录下来；

1 逻辑斯谛分布（logistic distribution）

  为一个连续型的随机变量，分布函数F和密度函数f满足下列条件的分布为逻辑斯谛分布：

  F（值域0到1）与f的图像：

F为中心对称图形并且在中心点附近图像很陡；

2 二项逻辑斯谛分布回归模型

  对于P(Y|X)，当随机变量Y的取值只有2个值（Y=0或1）的时候，P(Y|X)是二项逻辑斯谛分布的模型表示，是一种条件概率模型，也是一种分类模型；
  具体地，二项逻辑斯谛分布的条件概率分布满足如下性质：

下面将推导一些逻辑斯谛回归的性质：
  补充概念：几率（odd）：对于一个事件，几率是指事件发生的概率/不发生的概率；其中对数几率就是在这个计算出来的几率值上加一个Log函数；

  这里将p换成逻辑斯谛回归的P(Y=1|X=0)带入计算得到：

  从上面的推导结果可以看出，对于二项逻辑斯谛回归而言，事件结果Y=1的对数几率是关于输入X的线性函数！所以逻辑斯谛模型也是一个输出为Y=1时的对数几率是关于输入X的线性函数的模型；
  再次观察Y=1时逻辑斯谛回归模型的条件概率分布函数：

  其中wx则是一个对输入x进行分类的线性函数，wx的值域为负无穷到正无穷，发现当线性函数的值越接近正无穷时Y=1的概率越接近1，反之越接近0；

3 逻辑斯谛分布模型参数估计

  逻辑斯谛回归模型作为一个回归问题，本质上是一个有监督学习过程，参数集w是根据已有的训练集建立极大似然估计函数L(w)，通过L(w)求w的估计值；
  似然函数：

  两边取对数L(w)：

  逻辑斯谛常用的处理目标函数的方法是梯度下降和拟牛顿法，会在后面的博客里单独介绍；
  4 多项逻辑斯谛回归
  所谓多项逻辑斯谛回归模型是指随机变量Y的取值从之前2项拓展成了K项，Y的取值集合={1,2,3,4,5,…,K}，可用于多分类问题；
  它的条件概率分布函数：

  二项中的参数求解方法在多项中同样可以推广运用；