GRU神经网络
来源:互联网 发布:淘宝退款会影响信誉吗? 编辑:程序博客网 时间:2024/06/11 04:37
前面已经详细讲了LSTM神经网络(文末有链接回去),接着往下讲讲LSTM的一个很流行的变体。
GRU是什么
GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而提出了LSTM,而GRU则是LSTM的一个变体,当然LSTM还有有很多其他的变体。GRU保持了LSTM的效果同时又使结构更加简单,所以它也非常流行。
GRU模型
回顾一下LSTM的模型,LSTM的重复网络模块的结构很复杂,它实现了三个门计算,即遗忘门、输入门和输出门。
而GRU模型如下,它只有两个门了,分别为更新门和重置门,即图中的
GRU向前传播
根据前面GRU模型图来一步步看他是怎么向前传播的,根据图不难得到以下式子:
其中[]表示两个向量相连接,*表示矩阵元素相乘。
GRU的训练
从前面的公式中可以看到需要学习的参数就是
输出层的输入
设某时刻的损失函数为
与前面LSTM网络类似,最终可以推出
以下是广告和相关阅读
========广告时间========
公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等,可能有一款适合你的胃口。
鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以购买。感谢各位朋友。
为什么写《Tomcat内核设计剖析》
=========================
相关阅读:
LSTM神经网络
循环神经网络
卷积神经网络
机器学习之神经网络
机器学习之感知器
欢迎关注:
- GRU神经网络
- LSTM神经网络 和 GRU神经网络
- 循环神经网络——实现LSTM/GRU
- 循环神经网络——双向LSTM&GRU
- GRU
- 循环神经网络教程第四部分-用Python和Theano实现GRU/LSTM循环神经网络
- 循环神经网络教程 第四部分 用Python 和 Theano实现GRU/LSTM RNN
- (Unfinished)RNN-循环神经网络之LSTM和GRU-04介绍及推导
- 循环神经网络教程4-用Python和Theano实现GRU/LSTM RNN, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano
- GRU入门
- Gated Recurrent Units (GRU)
- RNN&LSTM&GRU
- LSTM 与 GRU
- LSTM与GRU结构
- GRU与LSTM总结
- RNN,LSTM与GRU
- LSTM、GRU网络入门学习
- RNN, LSTM, GRU 公式总结
- CSI.Bridge.2017.Advanced.v19.0.0.1294.Win32_64 2CD
- 自定义控件之绘图篇:Path之贝赛尔曲线和手势轨迹、水波纹效果
- Can't create handler inside thread that has not called Looper.prepare()解决方法
- jsp和js文件中获取EL表达式的值
- ECSHOP如何解决Deprecated: preg_replace()报错
- GRU神经网络
- 图解HTTPS
- 简单绘制饼状图
- MySQL数据类型
- shell之test 命令
- Java面试
- MFC中遇到的一些问题
- 微信支付申请不了找黑河马解决
- Oracle 创建普通用户,并赋予权限