Tensorflow学习笔记--RNN精要及代码实现
来源:互联网 发布:淘宝退货卖家说我调包 编辑:程序博客网 时间:2024/05/29 04:08
1、有了dnn和cnn为什么还要有rnn?
因为rnn能够有时间序列的结构,dnn和cnn的数据可以更换位置而不影响训练。但是对于rnn它有严格的先后顺序。这样的模型似乎对于语音识别,自然语言处理等应用场景更为符合。
基础结构如下:
图1:rnn结构
注:
1)图中的 U W V三种权重参数是共享的。
2)St = f(U*Xt+W*St-1) 此处没有写b,有的地方还需要加一个b。f函数一般为tanh
3)Ot = softmax(V*St)
随后就是带入数据,更新权重。但这里有一个问题W与U使用bp更新时会有St-1的输入于是乎就有了BPTT的更新算法
2、BPTT算法 (Back Propagation Through Time)
从英文的字面意思中我们可以了解到,bptt其实就是因为输入变量为时间序列所以需要进行进一步的迭代。核心原理还是bp的链式法则。结合上面2个公式我们进行以简单对w的推导:
最终就是我们的权重更新公式。
3、RNN问题与LSTM
从上面的权重更新公式中,我们会发现里面有非常多的连乘。那么这就会带来一个很大的问题:梯度弥散。这也意味着像dnn一样,随着层次增多,它的训练效率会急剧降低。
为了解决这个问题,于是乎就有LSTM。
图 原始rnn结构
图 lstm结构
主要思想:
LSTM通过某种结构,缓解了梯度下降的程度。
公式推导参考文献:http://blog.csdn.net/u010754290/article/details/47167979
模型概念参考文献:http://www.jianshu.com/p/9dc9f41f0b29
TensorFlow中只有多层lstm代码实现:
参考代码与解释:http://blog.csdn.net/u014595019/article/details/52759104
参考内容:
寒小阳课程
0 0
- Tensorflow学习笔记--RNN精要及代码实现
- TensorFlow学习笔记--CNN精要及实现
- RNN入门详解及TensorFlow源码实现--深度学习笔记
- RNN学习笔记(五)-RNN 代码实现
- tensorflow rnn 最简单实现代码
- RNN的原理与TensorFlow代码实现
- Tensorflow RNN源代码解析笔记2:RNN的基本实现
- tensorflow学习笔记(三十九):双向rnn
- tensorflow学习——简单RNN实现
- RNN学习笔记(六)-GRU,LSTM 代码实现
- tensorflow-rnn代码解读
- tensorflow rnn阅读笔记
- tensorflow 学习笔记12 循环神经网络RNN LSTM结构实现MNIST手写识别
- Batch Normalization学习及TensorFlow代码实现
- tensorflow 实现rnn
- Tensorflow RNN源代码解析笔记1:RNNCell的基本实现
- [TensorFlow]入门学习笔记(5)-循环神经网络RNN
- TensorFlow RNN 教程和代码
- <meta name="viewport" content="width=device-width,initial-scale=1.0"
- git checkout -- filename的作用
- Linux CentOS6.X 升级python2.6到python2.7
- Spring 的注解@Transactional 配置项 eadOnly 有什么作用?
- Stack Overflow Developer Survey 2016 Results(2016stack overflow 开发者调查报告)
- Tensorflow学习笔记--RNN精要及代码实现
- Java设计模式-装饰器模式
- java 常用的class
- Mysql-各种锁区分与【MVCC】
- 重叠IO模型 - 异步IO
- 通过Eclipse手动部署项目到Tomcat中的两种方式
- Spring MVC 环境搭建(一)
- UVa220
- ubuntu终端进出root权限