机器学习5：逻辑回归

Logistic regression

上一节课我们发现，通过概率来生成的模型可以通过函数的变换而变成：

这样的形式，这种形式仅仅有两个变量，即w和b，那么我们是不是可以不管概率论上的那一系列推导，而仅仅利用这个简单的公式来求得模型呢？

答案是肯定的。

这种方式叫做 Discriminative

 

我们要使得这个概率最大最好，但是因为这个是连续的乘法，不容易求导，所以做一系列的变化：

这两个是等价的。

现在需要求上式的最小值。

现在我们需要寻找极值，通过求导和一系列计算：

通过这个式子来进行梯度下降更新。

下图解释了为什么Loss函数不是选择方差和，而是选择乘积的最大值：

再对比一下通过几率推导出来的模型和直接用这个模型对比一下（generative vs logistic）

发现：当数据较少时，用几率生成的模型效果较好

但是当数据较多时，用logistic生成的较好。

 

当要分多个类的情况下：（用3类来做例子）

但其实很多时候单纯用logistic regression是无法分出来的

可以做一些feature transformation(特征的转化)

上图。使用前两个logistic regression的函数来做特征值的转化，用最后一个logistic regression来分类。

当多个logistic regression连接在一起的时候，我们给他取了个好听的名字，叫做：神经网络