softmax回归
来源:互联网 发布:mac dw 英文变中文 编辑:程序博客网 时间:2024/06/11 11:39
在分类中,我们会碰到二分类,这个时候我们就可以使用logistic回归,然后多分类的任务在现实中才是常见的,例如让你分类某一个电影属于哪一类,以及文章类型属于哪一类,这个时候我们就需要softmax回归。
在Logistic回归中,样本数据的值,而在softmax回归中,其中是类别种数,
比如在分析电影类别时中,表示要识别的10种类型的电影。设
那么
而且有
为了将多项式模型表述成指数分布族,先引入,它是一个维的向量,那么
应用于一般线性模型,必然是属于个类中的一种。用表示为真,同样当为假时,有
,那么进一步得到联合分布的概率密度函数为
对比一下,可以得到
由于
那么最终得到
可以得到期望值为
接下来得到对数似然函数函数为
其中是一个的矩阵,代表这个类的所有训练参数,每个类的参数是一个维的向量。所以在
softmax回归中将分类为类别的概率为
跟Logistic回归一样,softmax也可以用梯度下降法或者牛顿迭代法求解,对对数似然函数求偏导数,得到
然后我们可以通过梯度上升法来更新参数
注意这里是第个类的所有参数,它是一个向量。
在softmax回归中直接用上述对数似然函数是不能更新参数的,因为它存在冗余的参数,通常用牛顿方法中的Hessian
矩阵也不可逆,是一个非凸函数,那么可以通过添加一个权重衰减项来修改代价函数,使得代价函数是凸函数,并且
得到的Hessian矩阵可逆。更多详情参考如下链接。
- softmax回归(Softmax Regression)
- Softmax回归
- softmax 回归
- softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- Softmax回归
- Softmax回归
- softmax回归
- Softmax回归
- softmax回归
- softmax回归
- softmax回归
- Softmax回归
- softmax回归
- atop使用介绍
- SQL分组自增,再按组分列显示
- [centos]ebook
- POJ2686-Traveling by Stagecoach
- 存储过程培训
- softmax回归
- iOS CMMotionManager之加速计、陀螺仪
- margin-left 属性
- Udacity Deep Learning课程作业(六)
- 网络判断
- 【剑指offer】面试题 45:把数组排成最小的数
- ES性能调优权威指南(篇二)
- 稳压二极管
- 所历之感