【机器学习】逻辑回归

逻辑回归和线性回归同属于广义线性回归，逻辑回归更倾向于实现二分类的分类器/判别函数。和线性回归一样，逻辑回归需要找到一个判别函数原型，要求判别函数需要满足某些最优化条件，从而求得判别函数。

在二分类中，样本变量x对应一个分类y，y只有是或者不是两种类别，可以用1类和0类来表示。对应数理统计知识，样本是随机变量，那么总体的分布就是二项分布。我们希望最终能够把判别函数的结果映射到一个值域在[0,1]的范围中，如果数据属于1类那么h函数值应该大于0.5，否则小于0.5，同时希望判别函数对主体数据敏感，对边界数据或者极值数据不敏感，于是引入sigmoid函数：

其中q_Tx和线性回归中的判别函数是一样的，x表示样本的所有特征量。Sigmoid函数是表示数据分类为1的概率，那么有：

如果我们获得了h(x; q)，对于每一个训练样本数据都可以用h函数来计算获得该样本属于1类的概率，1-h来表示属于0类的概率。我们只需要训练样本用h函数分类正确的概率，如果训练数据属于1类，正确概率就是h，如果属于0类那么正确概率就是(1-h)。h函数对训练数据分类正确的概率可以统一写为：

其中y的取值为1或者0，表示训练样本正确的分类结果。

我们要保证h(x; q)对训练总体的判别正确率达到最大值，那么写为：

我们用极大似然估计方法进行优化，将原式变为对数形式以消去连乘形式。对数形式不会改变原式的单调性，增/减函数还是增/减函数，函数凹凸性也不变。改写为：

这个公式只有一个极值，数值求解得到使得上式中导数等于0的向量q值，就是判别函数系数。这里的数值求解不符合最小二乘法的定义，无法直接仿照现行规划中的最小二乘法进行求解；一般使用梯度下降法求解，迭代公式如下：

严格来说这里需要证明只存在一个极值，这里略过；有时候数值求解会陷入局部最优解就是没有解决多峰值问题。

 

上面的公式推导用到了链式法则。