logistics笔记

均参考自这个文章
logistics回归是一种二分类算法，下面将原理、实现过程和使用记录下来方便自己日后复习

二分类问题线性可分的情况一般是图中这样，这种的预测函数就应该是w1*x1+w2* x2+b 如果结果大于0就在线上面，如果结果小于0就在这条线下面。
再用sigmod函数g(z)：

函数形状：

处理得到0-1之间的数，得到的结果代表y=1的概率
由此有了logistics回归的预测函数hypothesis h(x),h(x)=g(b+w1*x1+w2*x2+…wn*xn)
书面形式如下：theta就是w，theta不好写，w和theta代表意思相同

所以y=1的概率p(y=1|x;theta)=h(x)
y=0的概率p(y=0|x;theta)=1-h(x)

下面构造损失函数。
由上面两个概率有：

似然函数是：

取对数：

让l(theta)最大即可，在课程中:

所以让j最小取到的参数是最好的。
这也就是损失函数。
接下来再对J求导求梯度

所以最终的θ更新过程为：

因为式中α本来为一常量，所以一般将1/m省略。