逻辑回归

sigmoid函数

sigmoid函数：
函数图像：
函数的导数：
（求导过程很简单，略）

逻辑回归模型

目标函数：

把sigmoid套在线性回归的模型上，得到：

损失函数：

假设有n个观测样本，观测值分别为设为给定条件下得到yi=1的概率。在同样条件下得到yi=0的条件概率为。于是，得到一个观测值的概率为:

使用最大似然估计，可以估计出使得概率最大的θ参数。
对上式求对数：
所以逻辑回归的损失函数为：

对损失函数求导：

把大括号里面的两项分别求导：


最后带入，得到损失函数的导数为：

求解方法

梯度下降：
迭代公式为：

优缺点

优点：

实现简单，广泛的应用于工业问题上；
分类时计算量非常小，速度很快，存储资源低；
便利的观测样本概率分数；

缺点：

当特征空间很大时，逻辑回归的性能不是很好；
容易欠拟合，一般准确度不太高
不能很好地处理大量多类特征或变量；
只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；
对于非线性特征，需要进行转换；