LSTM理论学习
来源:互联网 发布:第四方支付钱包源码 编辑:程序博客网 时间:2024/05/17 08:38
理论参考链接:Understanding LSTM Networks:简明易懂,网友翻译版
LSTM最关键的就是实现cell state的传输,而gate的存在决定传输过程中,以前的cell state信息多少需要抛弃,多少输入信息需要加入新的cell state,多少信息需要输出。(所以有forget, input, output三个gate)
- 忘记多少cell state:forget gate 观察上一个时刻的hidden state和此刻的输入x,决定需要忘记上一个时刻的cell state多少信息(0表示全忘记,1表示全记住)
- 增加多少输入信息:input gate观察上一个时刻的hidden state和此刻的输入x,决定需要将多少信息增加到此刻的cell state
- 候选cell state:观察输入的上一个时刻的hidden state和此刻的输入x,用tanh激励函数转换
- 如何更新cell state:将forget gate乘以上一刻的cell state,将input gate乘以此刻的候选cell state,得到新的cell state
- 输出多少cell state:output gate观察上一个时刻的hidden state和此刻的输入x,决定需要将多少cell state输出
- 输出信息:将forget gate乘以此刻的tanh(cell state)
input的大小是
,hidden state和cell state的大小是1∗x , weight matrix的大小是1∗d , 其中d就是num_lstm_units。Rn+d∗Rd 关于以上size的参考stackoverflow 、quora Dan Elton的回答。
LSTM的参数数量,参考stackoverflow:4d*(n+d),d是num_lstm_units,n是input的维度。
讲述LSTM的Forward和Backward的过程:Arun 的github博客
一百多行代码用python实现Lstm的8位加法器,每行代码都有详细讲解,并辅以gif:https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/
一百多行实现原始的RNN 网络,用于处理character-level language来自karpathy github: min-char-cnn
LSTM的python实现讲解
tensorflow RNN cell的源码
Visualizing and Understanding Recurrent Networks
阅读全文
0 0
- LSTM理论学习
- LSTM
- lstm
- lstm
- lstm
- LSTM
- LSTM
- LSTM
- LSTM
- lstm
- lstm
- LSTM
- LSTM
- LSTM
- LSTM
- LSTM
- LSTM
- LSTM
- style中设置隐藏元素
- zabbix的安装与搭建
- Python——format字符串格式化
- 程序员基本的素养
- HDU6146 Pokémon GO
- LSTM理论学习
- 我的第一片博客
- git提交顺序
- (系统)商店购物管理系统
- Lesson 11 算术运算符与算术表达式 实践项目:1-分离各位数 2-分离整数和小数部分 项目3-如何买玫瑰? 项目4-玩数字 项目5-坐标转换
- Ubuntu16.04深度学习一键安装脚本(支持tensorflow、keras、caffe)
- 排序算法知识点
- 3541414.html
- 2017年迄今最新人工智能资源盘点, 分享给你, 快来看看吧!