深度学习7softmax回归
来源:互联网 发布:和风天气 json解析 js 编辑:程序博客网 时间:2024/06/05 10:34
softmax回归可以解决两种以上的分类,该模型是logistic回归模型在分类问题上的推广。
对于y可以取两个以上的值,比如说判断一份邮件是垃圾邮件、个人邮件还是工作邮件。
这边也参考http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
即,对于训练集,我们有
也就是对于给定的输入x,我们想用假设函数针对每一个类别j估算p(y=j|x),也就是估算出每一种分类结果出现的概率。对于logistic回归中,y取0跟1,我们采用假设函数我们将训练模型参数 ,使其能够最小化代价函数 :
就是这边为什么乘以-1/m
而在softmax回归中,y取多个值k,因此,我们的假设函数将要输出一个 维的向量(向量元素的和为1)来表示这 个估计的概率值。 具体地说,我们的假设函数 形式如下:
下面就看看这个是怎么来的。
首先定义每个结果的概率,
则有,这样我也就可以把最后一个概率用前面几项表示,即
则,这个问题我们可以看成事k-1维的问题。则这个时候的T(y)就不是y,而是一组k-1维的向量,也就是T(y)要给出每一个y=i的概率(i从1到k-1)对于这个问题也演化到一般线性模型上面,即
将这多个向量也转化到指数分布上。下面定义:
用表示第i个向量,第i为1,其他为0,符号表示
,
另外我们有
好,下面我们的目的也就是使得每个在其i时的概率最大,转化到一般线性模型下,即
则:
则对于每一个有
这边,接着有
则,带入得到
从η到φ我们就叫做softmax回归。
这样我们就得到了上面的假设函数,换个写法
下面再反过来求最大似然估计
最后我们再用牛顿法或者梯度下降法解出θ
整个过程有了,但是还没有能够进行深入理解,对于更多细节参考
http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
下面做一下这个后面的练习来加深理解。
- 深度学习7softmax回归
- 深度学习之Softmax回归
- 深度学习入门 ---softmax回归
- 深度学习比较三Softmax回归学习
- 深度学习入门---softmax回归 Python实现
- 深度学习算法原理——Softmax回归
- 深度学习UFLDL教程翻译之Softmax回归
- 非监督特征学习与深度学习(五)----Softmax 回归(Softmax Regression)
- 机器学习----Softmax回归
- SoftMax回归学习
- 机器学习:Softmax回归
- 深度学习笔记----softmax
- 机器学习之Softmax回归
- 机器学习之softmax回归
- 神经网络学习:逻辑回归与 SoftMax 回归
- 机器学习--logistic回归和softmax回归
- 公开课机器学习笔记(7)Softmax回归模型
- Tensorflow深度学习之softmax
- 摘录 操作系统
- structure from motion
- 深度学习4线性回归,逻辑回归
- 深度学习5牛顿法
- 深度学习6一般线性模型
- 深度学习7softmax回归
- 换电脑带来的问题
- HTML学习总结
- PCL新编译 错误libboost_thread-vc100-mt-gd-1_51.lib(thread.obj)
- llvm
- CUDA编译问题
- ubuntu一些问题
- 解决ubuntu上opengl的问题
- PMVS学习中学习c++