机器学习第六讲——逻辑回归

    本文将着重讲解机器学习领域，在二分类问题中，较为常用的分类方法——逻辑回归(Logistic Regression, LR)。我们将从如下四个方面进行讲解：

一、逻辑回归的定义

二、逻辑回归的用途

三、逻辑回归理论分析

四、算法实现

一、逻辑回归的定义

     同最小二乘算法一样，逻辑回归（Logistic Regression, LR）算法属于广义线性模型（generalizedlinear model），是机器学习领域较为常用的算法。LR算法基于Sigmoid激活函数，将输入变量映射到二值空间，适用于机器学习中的二分类问题。

二、逻辑回归算法的用途

    如上面所述，LR算法运用在机器学习领域的二分类问题。例如垃圾邮件拦截，疾病诊断等等。

三、LR理论分析

    我们采用一个例子，进行LR回归的理论介绍。考虑如下的样本分布：

上图是一个二分类问题的例子，前两列为输入，最后一列为输入。同一般二分类问题一样，输出label为0或者1。至于为什么是0或者1，而不是其他两个不同的数字，主要和Sigmoid的函数输出相对应。在后面的讲解中，将会有所体会。我们将散点图画出来：

从上图可以看到，我们可以采用一条直线，将两组数据分开。

    我们希望直线上方的数据带入直线方程，输出为1，或者接近1的某个数；同理，直线下方的数据带入直线方程，输出为0，或者非常接近0的某个数。

    针对本问题，我们设直线方程为：

                                               

其中与为数据的两个输入，而为输出。为了简便，我们写成向量形式：。构造如下的分类函数：

                                                 

熟悉Sigmoid函数的朋友应该清楚，S函数的输出为0到1间的连续值。故上面的分类函数，将原输入数据映射到S函数的输出域中。由于S函数的输出特性，正好和概率对应上，我们可以把上式的输出理解为，样本取该值时的概率。

                                             

                                             

上式可以合并起来：

                                          

采用最大似然估计法，进行的求解。构造似然函数：

                               

为了更好地对似然函数求解，我们对似然函数两边同时取对数：

                             

那么，。

采用梯度下降法，进行值得更新，求取第个的梯度：

那么：

仿真结果如下图所示：

附件：数据和程序。