[DeeplearningAI笔记]改善深层神经网络_优化算法2.3_2.5_带修正偏差的指数加权平均
来源:互联网 发布:淘宝v2在哪里看 编辑:程序博客网 时间:2024/04/30 05:34
# Optimization Algorithms优化算法
觉得有用的话,欢迎一起讨论相互学习~Follow Me
2.3 指数加权平均
举个例子,对于图中英国的温度数据计算移动平均值或者说是移动平均值(Moving average).
大体公式就是前一日的V值加上当日温度的0.1倍,如果用红线表示这个计算数值的话就可以得到每日温度的指数加权平均值.
- 对于
θ 的理解,你可以将其认为该数值表示的是11−β 天的平均值,例如如果这里取β 是取0.9,那么这个V值表示的是十天以来的温度的加权平均值.如果我们设置β 值是0.98那么我们就是在计算50天内的指数加权平均,这时我们用图中的绿线表示指数加权平均值
- 我们看到这个高值的
β=0.98 得到的曲线要平坦一些,是因为你多平均了几天的温度.所以波动更小,更加平坦.缺点是曲线向右移动,这时因为现在平均的温度值更多,所以会出现一定的延迟.对于β=0.98 这个值的理解在于有0.98的权重给了原先的值,只有0.02的权重给了当日的值. - 我们现在将
β=0.5 作图运行后得到黄线,由于仅平均了两天的温度,平均的数据太少,所以得到的曲线有更多的噪声,更有可能出现异常值,但是这个曲线能更快的适应温度变化,所以指数加权平均数经常被使用. - 在统计学中,它常被称为指数加权移动平均值
2.4 理解指数加权平均
公式:
β 为0.9时,得到的是红线,β 为0.98,得到的是绿线,β 为0.5时,得到的是黄线.
- 通过计算,我们发现
0.910≈1e≈0.35 ,也就是说对于β=0.9而言 10天之后权重就会下降到13 - 对于
β=0.98而言,有0.9850≈1e≈0.35 ,即50天之后权重就会下降到13 - 即有
(1−ϵ)1ϵ≈1e
优势
实际处理数据时,我们会使用以下公式:
- 内存代码仅仅占用一行数字而已,不断覆盖掉原有的V值即可,只占单行数字的存储和内存.虽然不是最精确的计算平均值的方法,但是相比于原有的计算平均值需要保存所有数据求和后取平均的方法效率更高和资源占用率大大减小.所以在机器学习中大部分采用指数加权平均的方法计算平均值.
2.5 指数加权平均的偏差修正
当我们取
指数加权平均公式:
带修正偏差的指数加权平均公式:
补充
在机器学习中,在计算指数加权平均数的大部分时候,大家不太在乎偏差修正,大部分宁愿熬过初始阶段,拿到具有偏差的估测,然后继续计算下去.
如果你关心初始时期的偏差,修正偏差能帮助你在早期获得更好的估测
阅读全文
1 0
- [DeeplearningAI笔记]改善深层神经网络_优化算法2.3_2.5_带修正偏差的指数加权平均
- [DeeplearningAI笔记]改善深层神经网络_优化算法2.6_2.9Momentum/RMSprop/Adam优化算法
- [DeeplearningAI笔记]改善深层神经网络_优化算法2.1_2.2_mini-batch梯度下降法
- [DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.9_归一化normalization
- [DeeplearningAI笔记]改善深层神经网络1.1_1.3深度学习实用层面_偏差/方差/欠拟合/过拟合/训练集/验证集/测试集
- [DeeplearningAI笔记]改善深层神经网络_深度学习的实用层面1.10_1.12/梯度消失/梯度爆炸/权重初始化
- [DeeplearningAI笔记]改善深层神经网络1.4_1.8深度学习实用层面_正则化Regularization与改善过拟合
- 机器学习笔记_ 数值最优化_2:最优化算法
- 改善深层神经网络第一周-Regularization 若干错误修正
- EWMA 指数加权移动平均
- [DeeplearningAI笔记]神经网络与深度学习2.11_2.16神经网络基础(向量化)
- 人工神经网络学习笔记_性能优化
- DeepLearing学习笔记-改善深层神经网络(第二周作业-优化方法)
- DeepLearing学习笔记-改善深层神经网络(第二周作业-优化方法)[转载]
- TensorFlow学习_(3)深层神经网络
- 改善深层神经网络
- 算法竞赛入门经典_2.5_一些小练习_水仙花数_韩信点兵之类的
- 顶_工作笔记_2
- 网站在多IE版本兼容性测试工具IETester的使用方法
- (4.6.26)Android特殊系统的校验方式
- 数字图像处理-图像金字塔
- 写给Android开发者的混淆使用手册
- request.getServletContext()的问题
- [DeeplearningAI笔记]改善深层神经网络_优化算法2.3_2.5_带修正偏差的指数加权平均
- 源码解读----之-----k_means相关方法(被k_means调用)
- 9.5 机器人的规范
- 程序员们,我们的节日来了!1024让我们狂欢吧!
- 我为什么不使用并放弃jdk8的新特性?
- java 覆盖和隐藏
- jmeter 断言
- netty源码分析之服务端
- 如何在固定的成本条件下实现更多的资源配置