2016.4.15 Yann Lecun 的 LeNet-5
来源:互联网 发布:吊带承重数据 编辑:程序博客网 时间:2024/05/20 02:30
偶然又翻到了yann lecun的LeNet和MNIST的展示,注意到了这么几点:
1. 特征向量的激活很是相似,注意第三列的激活,会黑白都很相似,所以说明其实提取的特征类型都是一样的?但是只是特征的权重大小不太一样?
那么是否可以有一个动态调整大小的网络,使得如果某些维度经常不用,那么就自动减小?这样来减小网络的大小?(虽然最后一层并没有多少参数)
2. 在面对噪声的时候,最后的特征向量几乎不变,卷积核没变,但是data变了,如果说提取的特征,那么肯定特征是变了的。
所以我觉得应该是提取的某特征的分布,但是在更高的抽象层次上,这个分布的分布,就显得非常均匀了。什么意思呢?比如说我在较低的层次提取到了某一个分布的特征,可能是一个y=x(举个例子),加了噪声之后,实际上相当于是(y=x+1),那么再更高一层的抽象中,可能这两个由于只是一个常数的差别,那么就没差多少。
那么如果我图像一部分加一种噪声,另一部分加另一种噪声呢?
参考资料:
cnn+mnist展示网站:
http://yann.lecun.com/exdb/lenet/index.html
0 0
- 2016.4.15 Yann Lecun 的 LeNet-5
- Yann LeCun,牛人也!
- Facebook人工智能负责人Yann LeCun谈深度学习的局限性
- Facebook的人工智能要靠这个人:Yann LeCun
- 深度学习,Yann LeCun给大学生的十四条建议
- Yann Lecun 深度学习建议
- 关于Yann LeCun, Yoshua Bengio & Geoffrey Hinton 的Deep Learning 学习摘要
- Facebook Yann LeCun一小时演讲: AI 研究的下一站是无监督学习(附完整视频)
- Yann LeCun连发三弹:人人都懂的深度学习基本原理(附视频)
- CNN 之父 Yann LeCun:预测学习才是 AI 的未来
- 学界 | Yann LeCun最新研究成果:可以帮助GAN使用离散数据的ARAE
- Yann LeCun:深度学习与人工智能的未来(附PPT与译文)
- Yann LeCun vs Gary Marcus:AI 学习的未来更多取决于先天还是后天?
- 资源 | Yann LeCun最新演讲:大脑是如何高效学习的?(附PPT+视频)
- Yann LeCun说是时候放弃概率论了,因果关系才是理解世界的基石
- 关于《Yann LeCun:已解决CIFAR-10,目标 ImageNet》采访的总结
- 深度学习介绍(一)Yann LeCun
- Yann LeCun:深度学习硬件前瞻
- 2016.4.12 latex初探
- 2016.4.15 nature deep learning review[1]
- 2016.4.12 nature deep learning review[2]
- 2016.4.15 nature deep learning review[3]
- 2016.4.15 近期要读的论文
- 2016.4.15 Yann Lecun 的 LeNet-5
- 2016.4.15 Receptive fields, binocular interaction and functional architecture in the cat\'s visual cortex
- 文章标题
- 2016.4.16 Gradient-based learning applied to document recognition[待更]
- 2016.4.17 并行计算课程
- 《java语言程序设计》泽勒一致性问题
- Java之------单机版书店管理系统(设计思想和设计模式系列一)概述
- java学习笔记(十五)
- 例说定时器System.Threading.Timer