softmax regression
来源:互联网 发布:arm java 指令集 编辑:程序博客网 时间:2024/05/22 18:23
我们给出一个GLM的例子,是logistic regression的推广,应用于多类分类。所以,我们有y ∈{1, 2, . . . , k },我们用k个参数φ1, . . . , φk来表示k个输出的概率,由于第k个参数是多余的,所以我们只用k-1个参数,而
为了将其描述为指数族,我们将定义
在这里,T(y)不再等于y,而是一个k-1维的向量。
我们引入一个类似于布尔函数的东西1{·},满足1{True} =1, 1{False} = 0。例如,1{2 = 3}= 0, 1{3 =5 − 2} = 1。所以,对于T(y),有
然后有
紧接着
其中
链接函数:
推出响应函数:
这个将η映射到φ的函数被称为softmax函数
然后有
这个应用于y ∈ {1, . . . , k }的分类模型,被称为softmax regression。
对于给定的
为了得到这个模型的θ,我们可以写出log-likelihood
然后我们可以利用梯度下降或者牛顿法寻求其最大值。
下面介绍Cost Function:
为了与logistic regression的cost function相一致,我们写成下面的形式:
为了使cost function最小,我们要先计算梯度:
但是就像是线性回归与logistic regression一样,我们引入惩罚因子(Weight Decay)来抑制过拟合(overfitting),我们的cost function就变成了这样:
梯度为:
0 0
- SoftMax regression
- Softmax Regression
- softmax regression
- Softmax Regression
- Softmax Regression
- Softmax regression
- Softmax Regression
- softmax回归(Softmax Regression)
- Softmax回归(Softmax Regression)
- Softmax回归(Softmax Regression)
- Softmax回归(Softmax Regression)
- Softmax Regression and Logistic Regression
- Deep learning------------softmax regression
- Softmax Regression练习
- UFLDL Exercise:Softmax Regression
- UFLDL Exercise:Softmax Regression
- Logistic Regression & softmax
- 【转载】Softmax Regression
- SDK学院 第一节.为Unity创建我们自己的Adnroid
- ajax异步判断
- 在屏幕上输出你的名字。。。。(Scanner)的初步应用。
- 黑马程序员————反射
- 【专访】敏捷专家何勉:让测试成为拉动组织敏捷实施的力量
- softmax regression
- 实验记录一 初步接触cortex-M3
- 图像滤镜艺术----Brannan滤镜
- BEGINNING SHAREPOINT® 2013 DEVELOPMENT 第11章节--为Office和SP解决方案开发集成Apps 集成SP和Office App
- hdu 1302(The Snail)
- HDU 5067 Harry And Dig Machine
- Linux下的函数执行时间的统计方法
- 去重复记录
- Oc课堂笔记->字典NSDictionary