深度网络pre-train对于深度网络的意义
来源:互联网 发布:温十如何解除网络禁用 编辑:程序博客网 时间:2024/06/05 06:11
2016.10.11
1 pre-train 带来更好的优化还是更好的泛化?
pre-train是一个寻网络权值初值的过程,将pre-train的结果作为BP算法的权值的初值,能够解决深度网络在非凸目标函数上陷入局部最优的问题。从这个角度理解更象是带来更好的优化能力。在带有pre-train的深度网络的泛化表现上不仅仅是训练误差很小,同时泛化误差也很小,下图可以看出带有pre-train的网络在减小测试误差的能力上更优秀,感觉是pre-train的网络能够找到一个泛化能力好但是训练误差不一定好的初值,从这里更象是一个正则化的方法。
2 pre-train 在什么情况是有效的?
试验结果说明,浅层简单的网络并不需要pre-train,也好理解,如果浅层网络能够解决的问题,正则化反而会损害模型的表达能力。而在表达能力太强的深层网络,需要pre-train来约束网络的表能力。
0 0
- 深度网络pre-train对于深度网络的意义
- 深度网络的框架结构
- 深度学习: 论网络深度的利弊
- 深度网络的预训练
- 深度网络的学习问题
- 深度网络的基础组件
- 深度网络与深度学习
- 基于多尺度深度网络的单幅图像深度估计
- 基于多尺度深度网络的单幅图像深度估计
- DBN(深度置信网络
- 深度国际网络加速器
- 深度网络概览
- 深度网络概览
- 深度卷积网络
- 深度残差网络
- 深度残差网络
- 深度学习网络结构
- 深度学习-递归网络
- Unity的50个使用技巧(2016 Edition)
- Kali Linux 网络扫描秘籍 第七章 Web 应用扫描(一)
- java项目编码问题解决
- [leetcode]19. Remove Nth Node From End of List
- [CF617E]XOR and Favorite Number
- 深度网络pre-train对于深度网络的意义
- C++实现的访问者模式
- Android Modem修改点以及修改方法
- this运算符
- 无刷电机控制器
- D3.js symbol 符号生成器
- 结构体初始化
- 6款免费的PDF解锁软件
- leetcode_447. Number of Boomerangs 平面上距离相等的点的组数