逻辑回归模型(Logistic Regression, LR)

逻辑回归属于分类
将线性回归限定0-1之间
对于离群点不敏感
逻辑斯蒂分布
Logistic函数或者Sigmoid函数

可以看出来，当z无穷大时，g(z)趋于1；当z无穷小时，g(z)趋于0；当z=0时，g(z)=0.5。 g(z)的值域是[0,1]，所以f(x)的值域也是[0,1]

首先我们考虑2类问题，设

上述概率也可以写作

参数θ的似然函数是：

最大化似然函数往往比较困难，可以通过最大化对数似然函数来求解。θ的对数似然函数是：

实际上，代价函数的形式是：

所以最小化代价函数就等价于最大化似然估计。
可以通过梯度下降法来求解l(θ)的极大值。即

x(j)i是第i个样本的第j个特征
所以，对于参数θ向量中的任一元素θj，迭代方式如下:

如此，便可将全部参数求解出来。

1. 正则化
   在机器学习中，正则化是非常常用的方法。它用来约束模型的参数，使得求解出来的参数不会太大（模型不能过于复杂），以防止过拟合。
   Logistic回归经常加入ℓ1正则或者ℓ2正则。参数求解的问题转变为：