10-logistic regression
来源:互联网 发布:深入理解linux内核4.4 编辑:程序博客网 时间:2024/05/21 22:55
以下是台大林轩田老师讲的机器学习基石第10课的学习笔记 。
软性二值分类(soft binary classification)
目标函数
这里我们的二值分类和硬性二值分类的数据是一样的,但是目标函数是不一样的。而软性二值分类所真正需要的数据是跟目标函数一样的概率,但是我们收集的数据却是分类的结果。
logistic hypothesis
对于提取的特征向量:
计算各个分量的加权分数,但我们需要把这个分数转化为0-1之间的概率值。(因为我们的目标函数是这个)
用到的转换函数叫logistic函数
这样我们的logistic hypothesis就是:
而其中的的logistic function(sigmoid函数就一种)可以为:
sigmoid型函数表示是一个s型的函数。
logistic 回归
作法
用 来近似目标函数 f(x)=P(y|x)
error measure错误衡量
我们这里也要找一个Ein来minimise一下 ,当我们的目标是一个概率p的时候,我们可以用一个特殊的方式。
这个方式就是最大似然估计的方法,我们假设目标函数为:
则对于一个数据,它取各个值的概率分别为:
那么我们可以从数据中取出N个样本(in sample),观测它们的分布,我们想要达到的目标是我们的目标函数能够让取出这N个观测的概率尽可能的大,这个就是最大似然估计得到最优化的方法。
用f(x)替换成
用我们的hypothesis替换f:
让这个可能性最大的g就是我们要找的g
现在我们发现这个s型的logistic函数有对称性
所以我们可以用这个性质来简化优化函数,因为p(xi)对于所有的h是一样的,所以没什么关系
然后我们用我们的hypothesis的定义式子来替换这个h,要找likelihood的最大值,我们把连乘通过取对数换成连加,通过带入logistic函数最终得到Ein最小化的形式。这个error 衡量我们叫交叉熵错误(信息熵的概念)。
最优化
对这个Ein 求梯度为0 的w的值
要想让这个Ein的梯度小到接近0,就不断的尝试 启发式搜索 、迭代优化(iterative optimization)
v 是方向 η是步频
每一步都要用贪心的策略,找一个下降最快的方向
这个优化对象不是线性的,我们应该使用泰勒展开的形式,把公式近似替代为线性的形式
梯度下降法 gradient descent
v的方向取梯度的反方向
η 应该和梯度的大小成比例,这样才能最终收敛。这样和v的分母抵消,最后形成定值学习率(fixed learning rate )
下面是logistic 回归算法用梯度下降法做优化
其它资料
logistic回归
- 10-logistic regression
- 10-2- Logistic Regression Error
- logistic regression
- logistic regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- Logistic Regression
- Logistic Regression
- logistic regression
- Logistic regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- Logistic Regression
- logistic regression
- 素数--北航200年机试
- 三条线_纪中_2929_最大匹配
- bjoi2016题解<不断更新<毕竟自己弱嘛TAT>>
- 支付宝接入中踩了个小坑
- Vitural Box 使用已有镜像文件报错 E_INVALIDARG (0x80070057)
- 10-logistic regression
- springmvc快速入门(XML版本)
- 项目管理利器maven入门笔记(2)
- iOS面试题四
- 如何将网站部署到IIS服务器上
- 算法复习笔记(回溯法,分支限界法)
- 冗余关系的判断_递归
- 七牛云存储使用笔记
- js 中 == 和 ===的区别