机器学习升级版第七期——第八课logistic回归
来源:互联网 发布:正确的爱情观知乎 编辑:程序博客网 时间:2024/05/19 14:55
首先看几个分类图,可以明显的看出哪个分类更好
下面logistic/sigmoid函数比较熟悉不做过多介绍。
logistic回归参数估计:
上面这种假定为发生与不发生,其对应的概率为h(x)与1-h(x),写成指数族(参考机器学习升级版第七期——第二课中的内容)的形式为
那么对于m个样本有L(θ)
对数似然对其求导:
参数的迭代:(即我们在写代码时进行循环的部分),注意到h(x)是关于参数θ的sigmoid函数,后面如果我们想用其他的active function 我们只需将h(x)进行替换就可以了。
========================================================
对数线性模型:
下面给出logistic回归对应两种不同的输出(分类)时其指数族以及loss function的不同形式,loss 取负号是因为似然函数是求最大值时的参数θ,而我们定义loss function是取最小值,所以为了一致,将其取负号
下面是常见的广义线性模型
上面讲到的h(x)对应着表中的μ,如果我们要做细菌培养皿中细菌的情况,只需将h(x) 换成poission的link function 就可以了。
============================================================
softmax 回归(多分类)
先看下max(x1,x2)的图像
发现在拐点即(1,1),(2,2,),(3,3)处函数图像为不可导点,即图像比较生硬hard,为了较好的处理这种情况,引入
其图像为
可以看出图像在拐点处变成了光滑的曲线,连续可导,因此先对某些数取指数然后再取对数,相当于做了软化(soft),所以softmax回归的数据处理就是如此。
-----------------------------------------------
下面具体看softmax回归:
当k=2时就是逻辑回归~O(∩_∩)O~
即softmax回归是logistic回归的推广
- 机器学习升级版第七期——第八课logistic回归
- 机器学习升级版第七期——第二课(概率论与贝叶斯先验)
- 斯坦福大学机器学习——logistic回归
- 机器学习实战——Logistic回归
- logistic回归——机器学习
- Logistic回归——机器学习
- 《机器学习实战》——logistic回归
- 机器学习复习——Logistic回归
- 机器学习实战——Logistic回归
- 机器学习——Logistic回归
- 机器学习算法——logistic回归
- 机器学习入门——Logistic回归
- 《机器学习实战》——logistic回归
- 《机器学习实战》——Logistic回归
- 机器学习之——Logistic回归
- 《机器学习实战》——logistic回归
- 机器学习——logistic回归
- 机器学习实战——Logistic回归
- Java SE 7存档下载(官网包含所有1.7版本)
- Linux-4.4-x86_64 内核配置选项简介
- 关于The GPG keys listed for the "***" repository are already installed but they are not corret
- 分析诊断工具之二:Explain结果解读与实践
- 将两个有序数组归并成一个有序数组
- 机器学习升级版第七期——第八课logistic回归
- [shell]Shell特殊变量:Shell $0, $#, $*, $@, $?, $$和命令行参数
- 物联网设备是如何被破解的?分析一种篡改IoT固件内容的攻击方式
- 关于跨进程调用activity的问题
- 关闭当前页面
- 重大改变!Python或将取代VBA,成为Excel官方脚本语言!
- Node.js通过write、read以字节为单位来写、读
- Android——深入浅出RxJava 1和RxAndroid(一)
- CSDN MarkDown-2017年12月19日10:38:05