Classification and logistic regression离散型：分类问题

当事件结果取值离散，只有有限个时，不再适合用线性回归。假设现在取值只有0，1：我们实际上可以利用这一点，做出更好的预测。

我们选择假设函数：

至于为什么选这个，以后会讲到。

如果学过电子技术的话，会发现这个函数g很像阶跃函数：它在z小于0时取值近似0，z大于0时近似为1.

假设函数h的取值介于0-1之间，与其直接把它当作最终结论取值，把它当作概率值更加合适：

我们假设：

实质上，这样假设是为了更方便地写出拟然函数，也就是更方便地得到更新参数θ地方式。

y明显服从以h函数为参数的伯努利分布，那么：

我们要最大化L函数。

这里稍微讲一个常用技巧：对数化。对于上面这样由很多项相乘的函数，一般不太容易求其最值，如果有一定的数学感觉的话，很容易知道连乘函数明显不如累加函数易于处理。我们又知道，对数函数在其定义域内严格递增，这是很好的性质，我们对连乘函数套上对数函数后，其最值对应的自变量取值不变。

经过推导：

那么更新θ的方式为：

课堂上老师并没有说明这个h函数到底怎么用，怎么预测事件结果，实际上，h函数代表了y=1的概率，那么我们得到的h>0.5时，就将它归类为y=1即可。