Understanding Deep Learning required Rethinking Generalization 笔记
来源:互联网 发布:电子键盘软件 编辑:程序博客网 时间:2024/05/22 17:30
以下是他们论文中的一部分发现:
1.神经网络的有效容量是足够大的,甚至足够使用暴力记忆的方式记录整个数据集。
2.即便使用随机标签,进行优化仍然是很容易的。实际上,与使用真实标签进行训练相比,随机标签的训练时间仅仅增长了一个小的常数因子。
3.标签随机化仅仅是一种数据转换,学习问题的其他性质仍保持不变。
那个令人震惊的真相显现出来了。深度学习网络仅仅是大规模的关联记忆存储。深度学习网络即使在拟合随机数据时,仍能保持良好的泛化能力。这确实很奇怪,许多支撑神经网络有效性的依据都建立在这样一个猜想之上:“自然”数据往往存在于多维空间中一个非常窄的流形中。然而,随机数据并不具备这样的趋势。
《Understanding Deep Learning required Rethinking Generalization》这篇论文甚至进一步检验了我们行之有效且久经考验的泛化工具(即正则化),并发现:
显式正则化或许能提高泛化性能,但这既不必要也不足以控制泛化误差。
换句话说,我们所有的正则化工具可能并没有我们想象中那么有效!而且,更难以置信的是,SGD那不可思议的效果,实际上只是另一种碰巧有效的正则化方法!
参照线性模型,我们分析了SGD如何进行隐式的正则化。
阅读全文
0 0
- Understanding Deep Learning required Rethinking Generalization 笔记
- 论文笔记 understanding deep learning requires rethinking generalization
- 『 论文阅读』Understanding deep learning requires rethinking generalization
- 论文学习1----理解深度学习需要重新思考泛化Understanding deep learning requires rethinking generalization
- 【文献阅读】understanding deep learning requires rethinking generalization 理解深度学习需要重新思考一下“泛化”
- Understanding Convolution in Deep Learning
- Understanding Convolution in Deep Learning
- 【Deep Learning】笔记:Understanding the difficulty of training deep feedforward neural networks
- A shallow understanding on deep learning
- A shallow understanding on deep learning
- A shallow understanding on deep learning
- An easy understanding on deep learning
- Deep learning学习笔记(2):Visualizing and Understanding Convolutional Networks(ZF-net)
- 【Deep Learning】笔记:Tips for deep learning
- Deep learning笔记
- Deep Learning笔记1
- deep learning 学习笔记
- Bengio <Deep Learning> 笔记
- 配置vim ,作为shell脚本编辑器
- floodlight安装过程总结以及错误处理方法
- 怎么把网站快速搭建起来?
- Linux 系统命令及shell脚本2
- "Illegal property type, c for appearance setter, _installAppearanceSwizzleForSetter:
- Understanding Deep Learning required Rethinking Generalization 笔记
- cesium 读取json
- HMAC-SHA1签名工具类
- 链表中倒数第k个结点
- 偏导数与全导数的关系 以及 偏微分与全微分的关系
- python之pandas分组统计
- Java并发线程池,ThreadPoolExecutor解析
- [ArcGIS] 空间分析(三)栅格数据
- 枚举的总结