softmax回归详解【转载】
来源:互联网 发布:php 开源 客服系统 编辑:程序博客网 时间:2024/06/06 04:46
简介
—————————————————————————————————————————
在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签
回想一下在 logistic 回归中,我们的训练集由
我们将训练模型参数
在 softmax回归中,我们解决的是多分类问题(相对于 logistic 回归解决的二分类问题),类标
对于给定的测试输入
其中
为了方便起见,我们同样使用符号
代价函数
————————————————————————————————————————————————
现在我们来介绍 softmax 回归算法的代价函数。在下面的公式中,
值得注意的是,上述公式是logistic回归代价函数的推广。logistic回归代价函数可以改为:
可以看到,Softmax代价函数与logistic 代价函数在形式上非常类似,只是在Softmax损失函数中对类标记的
对于
让我们来回顾一下符号
有了上面的偏导数公式以后,我们就可以将它代入到梯度下降法等算法中,来最小化
当实现 softmax 回归算法时, 我们通常会使用上述代价函数的一个改进版本。具体来说,就是和权重衰减(weight decay)一起使用。我们接下来介绍使用它的动机和细节。
Softmax回归模型参数化的特点
————————————————————————————————————————————————————————————————
Softmax 回归有一个不寻常的特点:它有一个“冗余”的参数集。为了便于阐述这一特点,假设我们从参数向量
换句话说,从
进一步而言,如果参数
注意,当
在实际应用中,为了使算法实现更简单清楚,往往保留所有参数
权值衰减
————————————————————————————————————————————————
我们通过添加一个权重衰减项
有了这个权重衰减项以后
为了使用优化算法,我们需要求得这个新函数
通过最小化
Softmax回归与Logistic 回归的关系
——————————————————————————————————————————————
当类别数
利用softmax回归参数冗余的特点,我们令
因此,用
Softmax 回归 vs. k 个二元分类器
——————————————————————————————————————————————————
如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立
这一选择取决于你的类别之间是否互斥,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数
如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。
现在我们来看一个计算视觉领域的例子,你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是:室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢? (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片,你又会选择 softmax 回归还是多个 logistic 回归分类器呢?
在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立的 logistic回归分类器更加合适。
中英文对照
——————————————————————————————————————————————
Softmax回归 Softmax Regression
有监督学习 supervised learning
无监督学习 unsupervised learning
深度学习 deep learning
logistic回归 logistic regression
截距项 intercept term
二元分类 binary classification
类型标记 class labels
估值函数/估计值 hypothesis
代价函数 cost function
多元分类 multi-class classification
权重衰减 weight decay
转自:softmax回归
- softmax回归详解【转载】
- Softmax回归(转载)
- Softmax回归代码详解
- Softmax回归详解
- Softmax回归原理简介+代码详解
- Softmax回归原理简介+代码详解
- softmax回归(Softmax Regression)
- Softmax回归
- softmax 回归
- softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- 最长上升子序列
- RN实现头部NavBar
- 目标检测(三)--DPM
- 8月英语--榜样的力量
- bat 文件操作
- softmax回归详解【转载】
- 分享一个bat脚本,比较文件输出是否相同,并输出第一个不同的位置
- 4078:实现堆结构
- 简单CrackMe分析(样本名:ReverseMe)
- 一个在线音乐软件的故事(五、让我们开始写代码吧)
- hdu6180Schedule(第十场贪心)
- 面试干货!21个必知数据科学面试题和答案part1(1-11)
- 如何让Maya中的相机和Unity相机的FOV(Angle of View)对上
- 蓝牙通信