逻辑回归的回顾

来源:互联网 发布:洛克希德马丁公司知乎 编辑:程序博客网 时间:2024/06/06 01:24

1、模型函数
这里写图片描述
2、激活函数
这里写图片描述其中,h(x)= p(y|x)(y=0或者y=1,当y=1时,代表,输入x时,输出是1的概率,当y=0时,代表,输入x,输出是0的可能性大小。
3、单个训练数据的损失函数(衡量概率与y到底有多接近)
这里写图片描述
4、m个训练数据的损失
这里写图片描述
5、为什么这里损失函数是这样的。
因为这里预测是值是概率,所以用线性回归的损失函数方法不合适(为什么不合适?因为用那种方法求得的函数不是凸函数,会有多个极值),那么这里的损失函数为什么写成这样呢?这里我们要画出来log函数了,因为我们知道h(x)的值是概率,所以大于0小于1,根据损失函数可知,当概率与1相差不大的时候,-log函数就会趋近于0,当概率与0,当y==1时。
当y=0时,当概率与0相差不大的时候,-log的函数就会趋近于0,(这里与前面的-log里面的内容并不相同)因此能够用来衡量损失。
6、对于m个训练样本