softmax函数
来源:互联网 发布:淘宝信用贷款逾期20天 编辑:程序博客网 时间:2024/05/16 17:49
本文讨论机器学习中常见的softmax函数,并推导了softmax函数的梯度,讨论了softmax函数的一些基本性质。
softmax函数定义为
可以认为是先对
然而,上式中存在“冗余”,可以参考UFLDL中关于softmax的相关描述。
Softmax regression has an unusual property that it has a “redundant” set of parameters
这是因为
sigmoid函数是softmax函数在
sigmoid函数经常用于二元回归问题,而softmax则可以应用于多元回归,可以认为softmax函数是sigmoid函数的推广。
下面推导softmax函数的导数
为简化推导过程,令归一化参数
最后的结果很优雅,写成向量形式:
可以发现,这个和sigmoid函数的导数计算公式相似:
这也不难理解:前面已经说过,sigmoid函数视为softmax的一种特例,所以二者本来就应该有相似的形式。
推导出softmax函数的导数之后,对含有sigmoid函数的目标函数求导也就很容易了。
J1=h ∂J1∂x=h(x)(1−h(x)) J2=12h2 ∂J2∂x=h2(x)(1−h(x)) J3=hlog(h) ∂J3∂x=(1+logh(x))h(x)(1−h(x)) J4=ylog(h) ∂J4∂x=y(1−h(x))
实际中常用的是
阅读全文
0 0
- softmax 函数
- softmax 函数
- Softmax函数
- softmax函数
- softmax 函数
- softmax函数
- Softmax函数
- softmax函数
- softmax函数
- Softmax函数
- softmax函数
- softmax函数
- Softmax 一文看懂Softmax函数
- 关于softmax 函数求导
- 神经网络中的softmax函数
- 逻辑回归函数Softmax()
- softmax 损失函数推导
- softmax函数及其性质
- MVP 模式简单易懂的介绍方式
- Linux压缩文件的二三事
- c语言经典笔试题01-关于素数
- RockChip px3se 使用wpa_spplicant连接wifi上网
- spoj 1811 LCS 后缀自动机
- softmax函数
- MongoDB Spark
- CentOS 7安装vsftpd服务教程
- 评头条,每过3秒钟切换一条
- 57.Oracle杂记——Oracle常用X$视图
- 【笔记】STL
- ASP.NET中ReportView控件在配置数据源选择业务对象时下拉菜单没有选项
- FPGA作业3.1:例化2-4译码器
- tomcat中的几种log