GRU学习记录-2016/12/01
来源：互联网 发布：机房网络拓扑 编辑：程序博客网 时间：2024/06/06 13:21
GRU（Gated Recurrent Unit）是LSTMs网络的一种变式，主要的目的也是解决RNNs网络长时记忆的问题，通过hidden state来记忆上下文关系。GRU基本repeating module如下图所示：
图中ht为t时刻的hidden state，也为t时刻单元的输出；xt为t时刻的输出；rt为reset gate（重置，决定生成新的candidate hidden state—即带上波浪的ht—时是否包含之前状态的影响，取值为1,0）；zt为update gate(更新，决定是否用candidate hidden state更新当前状态)；带上波浪线的ht为由ht-1和xt新生成的当前状态的备选；ht为最终保留并输出的当前状态，由zt在带上波浪线的ht与ht-1之间选择。
与标准LSTMs网络不同的是，在生成新的记忆状态时，GRU合并了LSTMs中的forget gate和input gate，以update gate(Zt)来代替；并且将LSTMs中的cell state和hidden state整合为一个hidden state，这样做简化了整个网络单元的结构，并且在实验上也取得了比较不错的结果。
内容整理自：Understanding LSTM Networks
0 0
- GRU学习记录-2016/12/01
- GRU
- LSTM、GRU网络入门学习
- RNN、LSTM、GRU学习笔记
- tensorflow学习笔记：LSTM 与 GRU
- RNN LSTM与GRU深度学习模型学习笔记
- RNN学习笔记（六）-GRU，LSTM 代码实现
- tensorflow学习笔记（六）：LSTM 与 GRU
- tensorflow学习笔记（六）：LSTM 与 GRU
- GRU神经网络
- GRU入门
- 深度学习（三十九）LSTM、GRU网络入门学习-未完待续
- 深度学习（三十九）LSTM、GRU网络入门学习-未完待续
- 深度学习笔记——RNN（LSTM、GRU、双向RNN）学习总结
- 深度学习之六，基于RNN(GRU,LSTM)的语言模型分析与theano代码实现
- 深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU
- 深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU
- 深度学习之OCR（二）——RNN/LSTM/GRU + CTC
- ueditor chrome中图片上传框延时问题
- Java实现JTable放置任意组件
- CDSAH， SDTM & ADaM中时间变量/Core变量关联
- Oracle Frequently Encountered Questions
- C++string和int类型的转换方法
- GRU学习记录-2016/12/01
- Solr的安装部署及简单使用5.3.1
- 如何选购 SSL 证书（附免费SSL证书申请攻略）
- 大数据架构开发 挖掘分析 Hadoop HBase Hive Storm Spark Java Flume ZooKeeper Kafka Redis MongoDB 机器学习 云计算 视频教程
- Android matrix 控制图片的旋转、缩放、移动
- singleTask和singleInstance启动模式
- 11.30
- JDBC为什么要使用PreparedStatement而不是Statement
- Servlet 工作原理解析
