ud730深度学习(一)——卷积模型
来源:互联网 发布:日本书法 知乎 编辑:程序博客网 时间:2024/06/07 04:05
ud730是Udacity 谷歌给的deeplearning 课程,下列是视频地址,可能需要翻墙。
https://classroom.udacity.com/courses/ud730/lessons/6370362152/concepts/63798118150923#
课程相关代码:
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/udacity
该课程布置了几个有趣的小任务,其中我实现了任务3~任务6
https://github.com/Mandalalala/lesson/tree/master/ud730
任务 3: 正则化
使用正则化去优化深度学习模型
初始代码:打开 IPython notebook 中的这个任务:3_regularization.ipynb,按照指导去完成和运行每一个步骤。有些示例代码已经提供给你。
该任务要求实现regularization、dropout和learning rate decay,实验发现regularization提升效果明显。
任务 4: 卷积模型
设计并训练一个卷积神经网络
初始代码:打开 IPython notebook 中的这个任务 (4_convolutions.ipynb), 按照指导去完成和运行每一个步骤。 有些示例代码已经提供给你。
该任务要求实现LeNet5,使用28x28的图片作为输入。
LeNet5共有七层,如下所示。
LeNet-5中主要的有卷积层、下抽样层、全连接层3中连接方式。卷积层采用的都是5x5大小的卷积核。
C1层是卷积层,形成6张大小是28x28的特征图。卷积核有5x5个连接参数加上1个偏置共26个参数。
S2层是一个下抽样层。C1层的6个28x28的特征图分别进行以2x2为单位的下抽样得到6个14x14的图。每个特征图使用一个下抽样核,每个下抽样核有两个训练参数,所以共有2x6=12个训练参数,但是有5x14x14x6=5880个连接。
C3层是一个卷积层,卷积和和C1相同,不同的是C3的每个节点与S2中的多个图相连。C3层有16个10x10的特征图。怎么由6张特征图变成16张特征图呢?使用16个卷积核,每个卷积核和6张特征图卷积,卷积得到的结果再加权。
S4层是一个下采样层。C3层的16个10x10的图分别进行以2x2为单位的下抽样得到16个5x5的图。这一层有2x16共32个训练参数,5x5x5x16=2000个连接。连接的方式与S2层类似。
C5层是一个卷积层。由于S4层的16个图的大小为5x5,与卷积核的大小相同,所以卷积后形成的图的大小为1x1。这里形成120个卷积结果。每个都与上一层的16个图相连。所以共有(5x5x16+1)x120 = 48120个参数,同样有48120个连接。
F6层是全连接层。F6层有84个节点,对应于一个7x12的比特图,-1表示白色,1表示黑色,这样每个符号的比特图的黑白色就对应于一个编码。该层的训练参数和连接数是(120 + 1)x84=10164。
Output层也是全连接层,共有10个节点,分别代表数字0到9。
任务5和任务6见下两章节。
参考资料:
http://blog.csdn.net/qiaofangjie/article/details/16826849
- ud730深度学习(一)——卷积模型
- ud730深度学习(二)——Word2Vec and CBOW
- ud730深度学习(三)——LSTM(unfinished)
- 深度学习—卷积神经网络(一)
- Udacity深度学习(google)笔记(3)——CNN 卷积模型
- 深度学习模型---卷积神经网络
- 深度学习实践指南(一)—— 卷积和池化
- 深度学习小白——卷积神经网络可视化(一)
- 深度学习(一)卷积神经网络
- 深度学习之卷积神经网络学习摘录(一)
- 深度学习(九)——花式卷积
- 深度学习(十)——花式卷积(2)
- 深度学习1——深度学习(四)卷积神经网络入门学习(1)
- 深度学习2——深度学习(三十八)卷积神经网络入门学习(2.0)
- 深度学习UFLDL教程翻译之卷积神经网络(一)
- 深度学习入门之(一)卷积神经网络
- 深度学习基础之:理解卷积学习笔记 (一):卷积
- 吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记(4-2)-- 深度卷积模型
- 在51单片机上写出最优代码
- [LeetCode OJ]Container With Most Water
- Java多线程相关知识记录
- java静态代码块执行顺序
- 弹出键盘,textfield上移,搜罗总结
- ud730深度学习(一)——卷积模型
- 获取Oracle连接对象代餐构造,select需要提交事务
- C++通过HTTP请求Get或Post方式请求Json数据
- (5)MyBatis之一对多关联
- xcode第三方包管理工具cocoaPods
- python入门笔记
- pwnable.kr [Toddler's Bottle]
- poj-1664【递归】【思维】
- Position属性四个值:static、fixed、absolute和relative的区别和用法