机器学习_RNN/长期依赖/LSTM
来源:互联网 发布:人大金融硕士毕业知乎 编辑:程序博客网 时间:2024/05/22 18:28
【1】转自http://www.jianshu.com/p/9dc9f41f0b29
【1.5】前馈神经网路——信息是一级一级向前传的
【2】人类并不是每时每刻从空白思考问题,是基于对先前所见词的理解来推断当前词的含义。
【3】但是传统的神经网络不能做到这点,传统的神经网络输入之间是独立的,代表着新物质的构成。?????对么
【4】RNN解决了这个问题,RNN时循环的网络允许信息的持久化,即基于原始的信息去处理新的信息。
【5】
链式的特征揭示了RNN本质与序列和列表相关的。他们是对这类数据最自然的神经网络构架。
【6】RNN不能处理长期依赖的问题(长期依赖指输出的根据离输出时刻太远,可能会造成梯度消失或梯度爆炸)
【7】LSTM可以很好解决这个问题,LSTM是在标准的RNN的基础上加入了其他的神经网络(gates),而这些gates只是控制数级,控制信息的流动量
【8】gate的理解:把信息想象成水流,而gate就是控制水流可以通过。
阅读全文
0 0
- 机器学习_RNN/长期依赖/LSTM
- 深度学习(08)_RNN-LSTM循环神经网络-03-Tensorflow进阶实现
- 深度学习(08)_RNN-LSTM循环神经网络-03-Tensorflow进阶实现
- 机器学习框架(长期更新)
- LSTM 牛津大学机器学习课程
- 机器学习-->深度学习-->RNN,LSTM
- 机器学习:深入理解 LSTM 网络 (一)
- 机器学习:深入理解LSTM网络 (二)
- 机器学习之(一)LSTM和递归网络基础教程
- LSTM学习
- python机器学习依赖库安装
- LSTM长短记,长序依赖可追忆(深度学习入门系列之十四)
- 从软件工程的角度写机器学习7——-LSTM网络实现
- Swift学习 (长期)
- LSTM学习日记1
- 【深度学习】包教包会LSTM
- 深度学习 LSTM
- LSTM学习笔记
- 关于 qml程序在目标机上开发时运行出现不断闪屏现象的 解决方法
- Windows安装scrapy框架步骤
- 独家 | 盘点2017年度AI领域大事件!
- 刷题笔记:C/C++专项练习5
- 归并排序算法的编码和优化
- 机器学习_RNN/长期依赖/LSTM
- Java集合框架3(泛型集合)
- 201609-2 火车购票
- Android studio 混淆打包安装后报错NullPointerException int java.util.List.size()
- JavaScript判断是PC端还是手机端
- 基础的Linux命令
- 如何看待当今多种多样的数据库
- 经典的几种排序方式
- python里面的xlrd模块