Softmax 回归分析
来源:互联网 发布:ios解析html网页数据 编辑:程序博客网 时间:2024/06/14 17:57
Softmax 回归分析
- Softmax 回归分析
- 简介
- 代价函数
- 逻辑回归和softmax之间的关系
- 使用说明
1 简介
softmax回归模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签
想象一下在逻辑回归(logistic)中,我们的训练集有
我们将训练模型参数
在softmax回归中,我们解决的是多分类问题(相对于logistic回归解决的二分类),类标
对于给定的测试输入
其中
为方便起见,我们同样使用符号
代价函数
代价函数:
该函数其实是logistic回归代价函数的推广,logistic回归函数可以改为:
从上述公式可以看出,softmax和logistic代价函数在形式上非常类似。softmax回归中,
对于
通过最小化
逻辑回归和softmax之间的关系
当分类仅有两类时,softmax也就退化为逻辑回归了,例如当分类
注意,softmax回归参数之间是有关联的(概率和为1),故利用该特点,令
令
使用说明
如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立 k 个独立的二元分类器呢?
这一选择取决于你的类别之间是否互斥,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数 k = 4 的softmax回归。(如果在你的数据集中,有的歌曲不属于以上四类的其中任何一类,那么你可以添加一个“其他类”,并将类别数 k 设为5。)
如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。
现在我们来看一个计算视觉领域的例子,你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是:室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢? (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片,你又会选择 softmax 回归还是多个 logistic 回归分类器呢?
在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立的 logistic回归分类器更加合适。
- Softmax 回归分析
- Softmax回归问题分析
- softmax回归(Softmax Regression)
- Softmax回归
- softmax 回归
- softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- Softmax回归
- softmax回归
- softmax回归
- softmax回归
- git revert和git reset区别
- static 在函数中使用的注意事项
- 李嘉诚终究还是跑了,资本家究竟有没有祖国?
- android apk安装过程源码解析
- input框只能输入数字的实战方法
- Softmax 回归分析
- 在一个二维数组中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否含有该整数。
- JAVA作业1111
- The Django Book:第4章 Django模板系统
- 【软考之旅】UML九种图之区别
- linux内核调试技巧一:printk
- LRU缓存实现(Java)
- LCIS O(n ^ 2) 详解
- 百度盘登录时出现网络异常1的解决方法