七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理
来源:互联网 发布:c语言 _inline 编辑:程序博客网 时间:2024/06/05 16:05
1.场景与多种应用
模仿论文
模仿linux内核代码“写程序”
模仿郭小四的写作
机器翻译
Image to text/看图说话
2.层级结构
先了解神经网络,为什么有BP神经网络,CNN,还要RNN?
答:传统神经网络(包括CNN),输入和输出都是互相独立的。图像上的识别物体是分隔开的,但有些任务,后续的输出和之前的内容是相关的。
RNN引入了“记忆”的概念:
1)循环2字来源于其每个元素都执行相同的任务。
2)但是输出依赖于 输入 和 “记忆”。
3.多种RNN
双向RNN
深层双向RNN:深层+双向
4.BPTT算法
5.生成模型与图像描述
生成模型:image to text
图片描述数据集:Microsoft COCO数据集:http://mscoco.org
1.长时依赖问题 :
1)看电影的时候,某些情节的推断需要依赖很久以前的一些细节。
2)很多其他的任务也一样。
3)很可惜随着时间间隔不断增大时,RNN 会丧失学习到连接如此远的信息的能力。
4)也就是说,记忆容量有限,一本书从头到尾一字不漏的去记,肯定离得越远的东西忘得越多。
2.“记忆细胞”与状态
细胞状态类似于传送带。直接在整个链上运行,只有一些少量的线性交互。信息在上面流传保持不变会很容易。
LTSM如何控制“记忆细胞”?
1)通过“门”让信息选择性通过,来去除或者增加信息到细胞状态
2)包含一个sigmoid神经网络层 和 一个pointwise乘法操作
3)Sigmoid 层输出0到1之间的概率值,描述每个部分有多少量可以通过。0代表“不许任何量通过”,1就指“允许任意量通过”
LSTM的几个关键“门”与操作
LTSM变体:
3.GRU
- 七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理
- 七月算法深度学习 第三期 学习笔记-第八节 循环神经网络与相关应用
- 七月算法深度学习 第三期 学习笔记-第三节 卷积神经网络与典型结构
- 七月算法深度学习 第三期 学习笔记-第四节 深度学习框架与应用
- 七月算法深度学习 第三期 学习笔记-第二节 DNN与混合网络
- 七月算法深度学习 第三期 学习笔记-第十节 深度学习与迁移学习
- 七月算法深度学习 第三期 学习笔记-第九节 强化学习与Deep Q-Network
- 七月算法深度学习 第三期 学习笔记-第六节 图像风格转换
- 七月算法深度学习 第三期 学习笔记-第一节 数学基础
- 七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN
- 七月算法深度学习笔记4 -- CNN与常用框架
- 自然语言处理与深度学习
- 深度学习与自然语言处理
- 七月算法深度学习笔记7--RNN
- 自然语言处理之深度学习word2vec笔记之算法篇
- 【神经网络与深度学习】卷积神经网络在自然语言处理的应用
- 自然语言处理与深度学习: 集智俱乐部活动笔记
- 深度学习与自然语言处理Lecture-1笔记
- 异常:org.apache.ibatis.exceptions.PersistenceException:
- 克隆二叉树
- Hibernate.cfg.xml详解
- linux-3 在linux 中man 的使用
- 最长递增子序列
- 七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理
- Vue学习之路
- 面向对象小总结
- 判断 iframe 是否加载完成的完美方法
- SpringBoot7-Spring MVC-简介
- linux下串口的阻塞和非阻塞操作
- Android 广播弹框弹不出来 即使加了android.permission.SYSTEM_ALERT_WINDOW
- Listview错位
- MySQL 系列(三)你不知道的 视图、触发器、存储过程、函数、事务、索引、语句