Deep Learning Notes(1):值域,学习率,参数迭代形式
来源:互联网 发布:照相过滤软件下载 编辑:程序博客网 时间:2024/05/20 11:49
1 输入特征的值域归一化
输入特征的值域相差太大的话会导致Cost函数的梯度不均匀。Cost函数等高线为扁椭圆,梯度下降时会有长时搜索。
如果值域差不多,Cost函数的等高线近似圆形。梯度下降较快。
归一化方法:
理想值域在[-1,1]。当然[-5, 5] 之类的也没有关系。只要不要有数量级的差别就可以。
2学习率选择
学习率的变化可以近似3的倍速增减。
-> 1-> 0.3-> 0.1 -> 0.03 -> 0.01 -> 0.003 -> 0.001 ->
3 Linear Regression 与 Logistic Regression中的参数更新的形式相同,本质不同
Linear Regression中的输出代表的是线性拟合的值,公式如下:
但是Logistic Regression的输出代表的是概率,公式如下:
所以Linear Regression 与Logistic Regression的参数更新的形式相同,本质是不同的。
0 0
- Deep Learning Notes(1):值域,学习率,参数迭代形式
- Deep Learning Notes 1
- 深度学习入门笔记 Deep Learning Notes
- LEARNING NOTES FROM DEEP LEARNING
- [note] deep learning tensorflow lecture 1 notes 深度学习笔记 (1)
- CHAPTER1 INTRODUCTION -- Deep Learning Book Reading notes
- 「Deep Learning」Notes on SoftMax
- [note] deep learning tensorflow lecture 2 notes 深度学习笔记 (2) 解决过拟合
- Deep Learning学习 之 Deep learning简介
- Deep Learning学习笔记——1
- 学习笔记(1)Deep Learning
- Deep Learning 深度学习笔记1(基础知识)
- Deep Learning 学习笔记1--AutoEncoder
- (MIT)Deep learning 学习笔记(1)
- Deep learning学习系列笔记[1]
- Deep Learning深度学习
- 学习Deep learning必读
- deep learning学习
- 10分钟学会Git教程 - 安装Git、建仓库、添加和推送文件至库
- 深入了解Bundle和Map
- ReSharper配置及用法
- [Android学习]JSON的三种解析方式
- 采购信息记录业务知识简介
- Deep Learning Notes(1):值域,学习率,参数迭代形式
- Java-类的初始化顺序
- 第十三周实践项目4————立体类族共有的抽象类
- 数据库命令行的一些操作
- Oracle 分区表
- jquery插件jcrop的初步认识与用法
- 软件从业人员的职业规划
- 常用的数据结构算法
- 【云栖TechDay 第13期】云上高质量软件之路---持续交付的道与术