LSTM+RNN
来源:互联网 发布:mac os 完全卸载软件 编辑:程序博客网 时间:2024/05/22 14:21
LSTM超参数调试
以下是手动优化RNN超参数时需要注意的一些事:
- 小心出现过拟合,这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好,但网络的模型对于样例以外的预测则完全无用。
- 正则化有好处:正则化的方法包括l1、l2和丢弃法等。
- 保留一个神经网络不作定型的单独测试集。
- 网络越大,功能越强,但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数
参数 > 样例数 = 问题
。 - 数据基本上总是越多越好,因为有助于防止过拟合。
- 定型应当包括多个epoch(使用整个数据集定型一次)。
- 每个epoch之后,评估测试集表现,判断何时停止(提前停止)。
- 学习速率是最为重要的超参数。可用deeplearning4j-ui调试;参见此图
- 总体而言,堆叠层是有好处的。
- 对于LSTM,可使用softsign(而非softmax)激活函数替代tanh(更快且更不容易出现饱和(约0梯度))。
- 更新器:RMSProp、AdaGrad或momentum(Nesterovs)通常都是较好的选择。AdaGrad还能衰减学习速率,有时会有帮助。
- 最后,记住数据标准化、MSE损失函数 + 恒等激活函数用于回归、Xavier权重初始化
0 0
- RNN-LSTM
- LSTM+RNN
- LSTM RNN
- RNN(LSTM)
- RNN & LSTM
- LSTM RNN 理论
- RNN和LSTM资料
- RNN和LSTM
- RNN and LSTM introduction
- RNN-LSTM系列
- RNN和LSTM
- RNN 之LSTM简介
- RNN和LSTM
- From RNN To LSTM
- RNN、LSTM资源
- RNN与LSTM 理解
- RNN(LSTM)用于分类
- CNN、RNN与LSTM
- HTTP 响应头信息
- LeetCode 简单操作 | 171. Excel Sheet Column Number
- 介绍Linux目录结构 & Linux分区大小、挂载点 和如何分区
- #######TensorFlow深度学习,一篇文章就够了#########
- HTTP状态码
- LSTM+RNN
- PHP结合memcacheq消息队列解决并发问题
- spark入门cogroup简单例子(JAVA)
- maven安装配置
- Python系列之一_Python简介
- java web中文编码问题
- HTTP content-type
- 通过重力感应小球移动位置
- 代码审查