七月算法深度学习 第三期 学习笔记-第八节 循环神经网络与相关应用
来源:互联网 发布:淘宝购物,如何返利? 编辑:程序博客网 时间:2024/05/20 19:47
基础:RNN、LTSM原理见上一章节
注意力模型:
https://github.com/jazzsaxmafia/show_attend_and_tell.tensorflow
https://github.com/yunjey/show-attend-and-tell
生成模型:
字符级别生成模型:https://gist.github.com/karpathy/d4dee566867f8291f086
数据:http://cs.stanford.edu/people/karpathy/char-rnn/wiki.txt
生成模型发生了什么?
生成模型举例:
1.写食谱:
案例https://gist.github.com/nylki/1efbaa36635956d35bcc
代码继续用https://gist.github.com/karpathy/d4dee566867f8291f086
数据请戳http://www.ffts.com/recipes/lg/lg32965.zip
2.模仿奥巴马演讲:
https://medium.com/@samim/obama-rnn-machine-generated-politicalspeeches-c8abd18a2ea0#.9sb793kbm
3.合成音乐:
https://highnoongmt.wordpress.com/2015/05/22/lisls-stis-recurrentneural-networks-for-folk-music-generation/
前面的方法合成的音乐比较“单调”,有高级一点的方法对音乐进行合成吗?
http://www.hexahedria.com/2015/08/03/composing-music-withrecurrent-neural-networks/
翻译系统:
神经网络翻译系统
o 初版:所有的源语言信息压缩到“记忆”里
o 再从“记忆”里解码
小小的改进,稠密向量(embedding dense vector)
所以效果如何?
o这种方式的NMT模型,比传统的SMT模型要差
o整体差很多,某些条件下差距小
复习双向RNN
关于encoder更细的解释
o要避免信息全都压缩到一个向量里
o双向RNN对每个input x都生成正反的标记向量
o源语言用n个标记向量表示
关于“注意力”模型更细的解释
o句子是变化长度的,要集中精力在某个部分上
o用不同的权重对标记向量进行加权得到context向量
o上面的权重是通过反向神经网络用softmax激励得到的
Tensorflow序列到序列的学习
Ø https://www.tensorflow.org/tutorials/seq2seq
Ø https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/rnn/translate
神经网络翻译系统的现状神经网络翻译系统的现状?
- 七月算法深度学习 第三期 学习笔记-第八节 循环神经网络与相关应用
- 七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理
- 七月算法深度学习 第三期 学习笔记-第三节 卷积神经网络与典型结构
- 七月算法深度学习 第三期 学习笔记-第四节 深度学习框架与应用
- 七月算法深度学习 第三期 学习笔记-第十节 深度学习与迁移学习
- 七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN
- 七月算法深度学习 第三期 学习笔记-第九节 强化学习与Deep Q-Network
- 七月算法深度学习 第三期 学习笔记-第二节 DNN与混合网络
- 七月算法深度学习 第三期 学习笔记-第一节 数学基础
- 七月算法深度学习 第三期 学习笔记-第六节 图像风格转换
- 七月算法深度学习笔记4 -- CNN与常用框架
- 七月算法深度学习笔记7--RNN
- 七月算法机器学习笔记10 人工神经网络
- 七月算法强化学习 第三课 学习笔记
- 深度学习之循环神经网络算法
- 神经网络与深度学习笔记——第2章 反向传播算法
- Google深度学习笔记 循环神经网络实践
- TensorFlow深度学习笔记 循环神经网络实践
- 数组——排序算法
- Vue2.x通过id参数数据请求
- 深究js(五)——运算符
- 001.JS validate file
- 百练_2720:大象喝水
- 七月算法深度学习 第三期 学习笔记-第八节 循环神经网络与相关应用
- js 求数组里所有奇数的和的平均值
- printf从右向左计算,从左向右打印
- Github仓库搭建和SourceTree 搭配使用
- React 入门实例教程
- 百练_2721:忽略大小写比较字符串大小
- Java虚拟机中类加载机制详解
- 获取一个数二进制序列中所有的偶数位和奇数位,并输出。
- 为RecyclerView打造通用Adapter 让RecyclerView更加好用