[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
来源：互联网 发布：公章制作生成器软件 编辑：程序博客网 时间：2024/05/17 02:46
[机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
Review
梯度下降的三个小贴士
Tip 1 Tuning your learning rates
- 最流行也是最简单的做法就是：在每一轮都通过一些因子来减小learning rate。
- 最开始时，我们距离最低点很远，所以我们用较大的步长。
- 经过几轮后，我们接近了最低点，所以我们减少learning rate。
- 比如： 1/t 衰减：
ηn=ηt+1√ - learning rate 不能从一而终
- 要给不同的参数设置不同的learning rate。
为了达到此目的，有许多种技巧，而Adagrad就是一种不错的选择。
Adagrad
这样操作后，每组参数的learning rate 都不同。
举个例子：
所以用Adagrad后，我们的参数变化要写成这样：
Adagrad越到后面改变会越慢，这是一个正常现象。
Q：有没有奇怪的地方？？是否有所冲突？？
Tip 2：Stochastic Gradient Descent
让你的Training更快一点！
Tip 3 : Feature Scaling
让不同的特征值具有相同的缩放程度。
阅读全文
2 0
- [机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
- 第一周-机器学习-梯度下降（gradient descent）
- 机器学习（一）回归(regression)、梯度下降(gradient descent)
- 机器学习入门 | 使用梯度下降（Gradient Descent）实现线性回归（Liner Regression）
- 机器学习入门系列04，Gradient Descent（梯度下降法）
- [机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）
- (转载) [机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）
- 机器学习 线性回归(regression)、梯度下降(gradient descent)
- 机器学习中Lession1-回归(regression)、梯度下降(gradient descent)
- 可扩展机器学习——梯度下降(Gradient Descent)
- 机器学习(1)之梯度下降(gradient descent)
- 机器学习(1)之梯度下降(gradient descent)
- 机器学习(1)之梯度下降(gradient descent)
- 机器学习之梯度下降算法Gradient Descent
- 斯坦福机器学习视频笔记 Week1 线性回归和梯度下降 Linear Regression and Gradient Descent
- 机器学习笔记2--梯度下降（Gradient decent）
- 机器学习系列（1）：线性回归（regression）和梯度下降（gradient descent）
- 计算机视觉学习笔记：梯度下降（gradient Descent）
- 17多继承
- 学习笔记三－－ViewModel选项
- 有序广播和无序广播
- 学习笔记三－－ViewModel选项
- 强制关闭 端口号
- [机器学习入门] 李宏毅机器学习笔记-3 （Gradient Descent ；梯度下降）
- 笔记UE4 的各个类型
- RabbitMQ报错及默认开放端口
- 读取properties配置文件的几种常用方式
- 借由AI招聘软件，这位CEO 48h 内从4000名求职者中锁定那一位
- java学习笔记（三十四）网络编程
- Halcon & C# 联合编程
- 凭借识别人的情绪，他们做到了2000多万用户、1000多万订单
- HTML4.0和HTML5元素
