深度学习里常用激活函数,目标函数
来源:互联网 发布:陕西广电网络校园招聘 编辑:程序博客网 时间:2024/06/08 06:56
激活函数
线性变换的复合还是线性变换,但很多时候只做线性变换,并不能很好得解决分类问题,需要引入非线性激活函数
(0)阶跃激活函数
(1)sigmoid激活函数,tanh激活函数
(2)ReLU激活函数,Leaky-ReLU激活函数
(3)softmax激活函数
常用于分类问题的输出层
目标函数
目标函数也称为损失函数、代价函数,是深度学习里用于训练模型时的优化目标函数。
(1)二次代价函数
上式中
(2)交叉熵代价函数
其中
上式中
(3)对数似然代价函数
参考LR模型里的相关用法http://blog.csdn.net/cymy001/article/details/78153036
二次代价函数与输出层线性激活函数对应使用
交叉熵代价函数与输出层用sigmoid激活函数对应使用
对数似然代价函数与输出层用softmax激活函数对应使用
阅读全文
1 0
- 深度学习里常用激活函数,目标函数
- 深度学习常用激活函数
- 深度学习 激活函数
- 【深度学习】深度学习中常用的激活函数
- 深度学习caffe:激活函数
- 深度学习中激活函数
- 深度学习之激活函数
- 深度学习中的激活函数
- 深度学习中的激活函数
- 深度学习/神经神经网络常用激活函数总结
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 【深度学习技术】卷积神经网络常用激活函数总结
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用激活函数之— Sigmoid & ReLU & Softmax
- 深度学习常用函数
- 深度学习中的激活函数导引
- 深度学习之激活函数表
- 十三周 项目3
- POJ-2417 Discrete Logging (BSGS算法,离散对数)
- 统计学习精要
- 2-爬虫解决了什么问题
- 莫名其妙的记录
- 深度学习里常用激活函数,目标函数
- RecyclerView 的学习
- 动态规划之状态压缩专题
- Mac通过brew安装Nodejs错误:Could not symlink lib/dtrace/node.d
- Python 正则表达式
- java创建对象创建过程分析
- 3-爬虫爬取的数据有什么用
- FreeMarker
- legend多个图例一次输出