Logistic回归

线性回归的输出值是一串连续值，但有时候希望输出值可以是0~1的连续值，这样的输出在某种程度上可以看做是概率，可以用于分类问题，Logistic回归通过sigmoid函数①将连续值映射到区间(0,1)，并划定一个阈值，大于阈值属于一类，小于或等于阈值属于另一类。Logistic回归属于线性回归的一种推广，属于广义线性回归，本质是对数线性回归。

Logistic回归模型公式表示：

h=g(z)=11+e−zz=θTx

根据MLE与伯努利分布（the Bernoulli distribution）得到Logistic回归参数的学习规则②，同线性回归：

θj=θj+α(yi−hθ(xi))xij

见②，因为对数似然小于0，所以可以以负对数似然作为损失函数：

J(θ)=∑i=1m[yiln(1+e−fi)+(1−yi)ln(1+efi)]

当正例标记为1，负例标记为-1，则损失函数可表示为：

J(θ)=∑i=1m[ln(1+e−yi∗fi)]

虽然Logistic回归是线性的，但是通过变量的组合来提升维度，也可以得到曲线分界面，得到更多的特征参与训练，也可以解决异或问题。

附录

①：为什么是sigmoid函数

②：Logistic回归参数估计