TensorFlow笔记之常见七个参数
来源:互联网 发布:日本好听的歌 知乎 编辑:程序博客网 时间:2024/06/07 02:01
对TensorFlow深度学习中常见参数的总结分析
神经网络中常见的参数有:初始学习率、学习率衰减率、隐藏层节点数量、迭代轮数、正则化系数、滑动平均衰减率、批训练数量七个参数
。
对这七个参数,大部分情况下,神经网络的参数选优是通过实验
来调整的。
一个想法是,通过测试数据来评判参数的效果,但是这种方法会导致过拟合测试数据,失去评判未知数据的意义。而我们训练神经网络的目的,恰恰是为了预测未知数据。
所以,为了评判各种参数的效果,一般会从训练数据中抽取一部分作为验证数据。
验证数据的选取方法也是非常重要的,一般来说选取的验证数据分布越接近测试数据分布,模型在验证数据上的表现越可以体现模型在测试数据上的表现。
不同参数模型的效果比较
以前提到过,设计神经网络时候的
5
种优化方法。一个是神经网络结构设计上,需要使用激活函数和多层隐藏层;另一个是,神经网路优化时,可以使用指数衰减的学习率、加入正则化的损失函数、滑动平均模型。
影响最大的是:调整神经网络的结构,包括隐藏层和激活函数。这说明,神经网络的结构对最终模型的效果有本质影响
。
另外的,滑动平均模型、指数衰减率和正则化项对正确率的提升并不是特别明显。这是因为滑动平均模型和指数衰减的学习率在一定程度上都是限制神经网络中参数更新的速度
。如果模型的收敛速度很快,这两种优化对最终模型的影响不大。
这两个个优化手段,能否说优化作用不大呢?
其实不是的。当问题更加复杂时,迭代不会这么快接近收敛,这时候滑动平均模型和指数衰减的学习率可以发挥更大的作用
。
还有一个正则化项,对模型效果带来的提升要相对显著。使用了正则化项损失函数的神经网络模型可以降低大约6%的错误率。
只优化交叉熵的模型可以更好的拟合训练数据(交叉熵损失更小),但是却不能很好的挖掘数据中潜在的规律来判断未知的测试数据,所以在测试数据上正确率低。
总结一下的话,激活函数和隐藏层对模型的效果带来质的飞跃;滑动平均模型、学习率衰减率、正则化项对最终正确率的提升效果不明显,但是需要解决的问题和使用的神经网络更加复杂时,这些优化方法将更有可能对训练效果产生更大的影响。
- TensorFlow笔记之常见七个参数
- Tensorflow 常见参数
- TensorFlow 之命令行参数
- 常见优化算法 (tensorflow对应参数)
- Macaca之常见参数
- tensorflow学习笔记(一):命令行参数
- 常见优化算法 (caffe和tensorflow对应参数)
- tensorflow学习笔记之word2vec
- TensorFlow笔记之基础总结
- TensorFlow笔记之变量管理
- TensorFlow笔记之简单cnn
- tensorflow之seq2seq阅读笔记
- TensorFlow笔记之MNIST例程详解
- 机器学习之TensorFlow框架学习笔记
- TensorFlow学习笔记之读取数据概述
- Tensorflow学习笔记之存取图像文件
- tensorflow学习笔记之MNIST入门
- TensorFlow 基础知识笔记之一些概念
- JAVA-BigDecimal
- Java内存管理一
- loadrunner使用java 实现MQ协议发收脚本
- java中讲讲BufferedOutputStream的用法,举例?
- Java反射
- TensorFlow笔记之常见七个参数
- Java IO流之文件流
- POJ1651 Multiplication Puzzle —— DP 最优矩阵链乘
- zookeeper Curator 场景应用
- 朴素贝叶斯算法
- nodejs镜像配置
- mysql 5.7.17 二进制安装
- Linux设置sudo会话密码的超时时长
- sort命令以及uniq命令