tensorflow rnn阅读笔记
来源:互联网 发布:薪酬数据分析哪些内容 编辑:程序博客网 时间:2024/06/04 19:43
只是随便写写,fang’bian’zi’ji
ptb_word_lm.py:
1. 一些参数的定义
num_steps = time_step
1.在rnn中进行dropout时,对于rnn的部分不进行dropout,也就是说从t-1时候的状态传递到t时刻进行计算时,这个中间不进行memory的dropout;仅在同一个t时刻中,多层cell之间传递信息的时候进行dropout.
2. embedding_lookup(embedding,input_ids):就是根据input_ids中的id,寻找embedding中的对应元素。这里输出的是一个三维的矩阵,对应着lstm输入数据的格式(batch_size,time_step,embedding_size)
3. tf.get_variable_scope().reuse_variables()这行代码不可少,不然会报错,应该是因为同一命名域(variable_scope)内不允许存在多个同一名字的变量的原因。
4. (cell_output, state) = cell(inputs[:, time_step, :], state)这是模型搭建的重点,inputs[:, time_step, :]是一个二维的矩阵,state保存了c和h的信息。实现了并行运算。
阅读全文
0 0
- tensorflow rnn阅读笔记
- Tensorflow RNN源代码解析笔记2:RNN的基本实现
- tensorflow学习笔记(三十九):双向rnn
- tensorflow官方rnn教程的源码阅读总结
- tensorflow之seq2seq阅读笔记
- Tensorflow学习笔记--RNN精要及代码实现
- Tensorflow RNN源代码解析笔记1:RNNCell的基本实现
- RNN入门详解及TensorFlow源码实现--深度学习笔记
- [TensorFlow]入门学习笔记(5)-循环神经网络RNN
- 解读tensorflow之rnn
- 解读tensorflow之rnn
- tensorflow 循环神经网络RNN
- tensorflow之RNN
- tensorflow RNN实例
- TensorFlow MNIST RNN LSTM
- tensorflow-rnn代码解读
- tensorflow 实现rnn
- tensorflow 循环神经网络RNN
- Exception和继承自Exception的RuntimeException有什么区别呢
- 不积跬步,无以至千里 small tips
- 微信消息推送详解
- VMware linux 系统 安装VMware tools 工具的流程
- TensorFlow基础知识:计算图中的Op,边,和张量
- tensorflow rnn阅读笔记
- Mysql分区表
- 使用Snapdragon Profiler工具分析Dragonboard410c(一)
- android 最简单的轮播图片
- spring管理属性配置文件properties——使用PropertiesFactoryBean
- 2017-6-28(数据库)
- 设计模式之原型模式
- 算法导论计数排序实现
- 最常犯错误