深层神经网络——滑动平均模型
来源:互联网 发布:zero shot tensorflow 编辑:程序博客网 时间:2024/05/21 09:02
在采用随机梯度下降算法训练神经网络时,使用滑动平均模型在很多应用中都可以在一定程度上提高最终模型在测试数据上的表笑。
在Tensorflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage 时,需要提供一个衰减率(decay)。这个衰减率会用于控制模型的更新速度。ExponentialMovingAverage对每一个变量会维护一个影子变量(shadow variable),这个影子变量的初始值就是相应变量的初始值,而每次运行变量更新时,影子变量的值会被更新为:
其中shadow_variable是影子变量,variable是待更新的变量,decay是衰减率。从公式中可以看到,decay决定了模型更新的速度,decay越大模型越稳定。在实际应用中,decay一般被设置为非常接近1的数(0.99、0.999),为了使得模型在训练前期可以更新的更快,ExponentialMovingAverage提供了num_updates参数来动态设置decay的大小。如果ExponentialMovingAverage初始化时提供了num_dates参数,那么每次使用的衰减率将会是:
tf.Varialbe():trainable: 如果为True(默认也为Ture),这个变量就会被添加到图的集合GraphKeys.TRAINABLE_VARIABLES.中去 ,这个collection被作为优化器类的默认列表。
代码:
阅读全文
0 0
- 深层神经网络——滑动平均模型
- 深层神经网络——线性模型的局限性
- 深层神经网络——总结
- TensorFlow滑动平均模型
- tensorflow 滑动平均模型
- tensorflow--滑动平均模型
- 滑动平均模型
- 深层神经网络——过拟合问题
- tensorflow 滑动平均模型 ExponentialMovingAverage
- tensorflow 下的滑动平均模型 —— tf.train.ExponentialMovingAverage
- TensorFlow中滑动平均模型介绍
- TensorFlow优化之滑动平均模型
- 移动平均法又称滑动平均法、滑动平均模型法(Moving average,MA)
- 论文阅读——YouTube推荐中的深层神经网络
- TensorFlow学习笔记(4)——深层神经网络
- 深层神经网络——激活函数去线性化
- 深层神经网络——多层网络解决异或运算
- 深层神经网络——分类、回归的损失函数
- 关于通过数据库表明查询字段的中文注释
- Context
- ifame嵌入图片实现滚轮放大缩小,拖动,模拟地图,漂浮移动,动态创建人员图片
- CSS3创建动画
- 解决studio中导入依赖库有重复冲突的办法
- 深层神经网络——滑动平均模型
- 大家先来熟悉一下规则
- Xcode8新特性
- 如果iCloud和iTunes还是死性不改,那我只能选择这个软件了
- nginx进程优化
- if else 、switch选择语句
- JAVA企业面试题精选 Java SE 21-30
- PL/SQL 登录界面无connect as 以及PL/SQL登录提示“当前无法识别连接符中请求的服务”
- H5 canvas画线