Softmax 回归
来源:互联网 发布:cf刷军衔软件 编辑:程序博客网 时间:2024/05/16 09:49
我们知道Logistic回归只能进行二分类,因为它的随机变量的取值只能是0或者1,那么如果我们面对多分类问题怎么
办?比如要将一封新收到的邮件分为垃圾邮件,个人邮件,还是工作邮件;根据病人的病情预测病人属于哪种病;对于
诸如MNIST手写数字分类(MNIST是一个手写数字识别库,相见:http://yann.lecun.com/exdb/mnist/)。诸
如此类问题都涉及到多分类,那么今天要讲的softmax回归能解决这类问题。
在Logistic回归中,样本数据的值,而在softmax回归中,其中是类别种数,
比如在手写识别中,表示要识别的10个数字。设
那么
而且有
为了将多项式模型表述成指数分布族,先引入,它是一个维的向量,那么
应用于一般线性模型,必然是属于个类中的一种。用表示为真,同样当为假时,有
,那么进一步得到联合分布的概率密度函数为
对比一下,可以得到
由于
那么最终得到
可以得到期望值为
接下来得到对数似然函数函数为
其中是一个的矩阵,代表这个类的所有训练参数,每个类的参数是一个维的向量。所以在
softmax回归中将分类为类别的概率为
跟Logistic回归一样,softmax也可以用梯度下降法或者牛顿迭代法求解,对对数似然函数求偏导数,得到
然后我们可以通过梯度上升法来更新参数
注意这里是第个类的所有参数,它是一个向量。
在softmax回归中直接用上述对数似然函数是不能更新参数的,因为它存在冗余的参数,通常用牛顿方法中的Hessian
矩阵也不可逆,是一个非凸函数,那么可以通过添加一个权重衰减项来修改代价函数,使得代价函数是凸函数,并且
得到的Hessian矩阵可逆。更多详情参考如下链接。
链接:http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
这里面也讲述了K个二元分类器与softmax的区别,值得学习。
参考资料:
(1)http://www.cnblogs.com/tornadomeet/archive/2013/03/22/2975978.html
(2)http://www.cnblogs.com/tornadomeet/archive/2013/03/23/2977621.html
(3)http://demo.netfoucs.com/lingerlanlan/article/details/38410123
(4)http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/
(5)http://blog.csdn.net/celerychen2009/article/details/9014797
- softmax回归(Softmax Regression)
- Softmax回归
- softmax 回归
- softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- Softmax回归
- softmax回归
- softmax回归
- softmax回归
- Softmax回归
- softmax回归
- hibernate关联映射注解
- CentOS 服务器配置
- 集合框架_LinkedHashMap的概述和使用
- 持续交付在路上——互联网百人研发团队的华丽转身
- 给定一数组,输出满足2a=b(a,b代表数组中的数)的数对,要求时间复杂度尽量低。
- Softmax 回归
- PHP面试题之写一个函数算出两个文件的相对路径
- JZOJ 3813. 【NOIP2014模拟9.7】我要的幸福
- ubuntu-make | Ubuntu Linux一键安装开发环境
- 在eclipse中配置ns3
- Centos 和 windows7 双系统设置默认启动系统
- 1004. To Buy or Not to Buy - Hard Version (35)解题报告
- 1万个元素的数组,90%的元素都是1到100的数,10%的元素是101--10000的数,如何高效排序。
- Ehcache是现在最流行的纯Java开源缓存框架