深度学习: greedy layer-wise pre-training (逐层贪婪预训练)
来源:互联网 发布:提取方格网4角数据 编辑:程序博客网 时间:2024/06/06 19:28
从UFLDL栈式自编码器摘来的话:
每次只训练网络中的一层,即我们首先训练一个只含一个隐藏层的网络,仅当这层网络训练结束之后才开始训练一个有两个隐藏层的网络,以此类推。
在每一步中,我们把已经训练好的前k-1层固定,然后增加第k层(也就是将我们已经训练好的前k-1的输出作为输入)。每一层的训练可以是有监督的(例如,将每一步的分类误差作为目标函数),但更通常使用无监督方法(例如自动编码器)。
这些各层单独训练所得到的权重被用来初始化最终(或者说全部)的深度网络的权重,然后对整个网络进行“微调”(即把所有层放在一起来优化有标签训练集上的训练误差)。
个人补充:
什么Autoencoder啦、RBM啦,现在都已经 没人用了 。
现在所常说的 pre-training (预训练) ,其实 专指 migration learning (迁移学习),那是一种无比强大又省事儿的trick。
阅读全文
1 0
- 深度学习: greedy layer-wise pre-training (逐层贪婪预训练)
- 【deep learning学习笔记】Greedy Layer-Wise Training of Deep Networks
- Deep Learning读书笔记(三):Greedy Layer-Wise Training of Deep Networks
- 逐层贪婪训练法
- 深度学习:Pre-Training的理解
- 深度学习中的非线性激励函数以及unsupervised pre-training
- 贪婪深度字典学习
- #深度学习#关于训练中的batch, epoch 以及online training
- greedy algorithms_贪婪算法
- 贪婪投影 greedy projection
- 深度神经网络结构以及Pre-Training的理解
- 深度神经网络结构以及Pre-Training的理解
- 深度神经网络结构以及Pre-Training的理解
- 深度神经网络结构以及Pre-Training的理解
- 深度神经网络结构以及Pre-Training的理解
- 深度神经网络结构以及Pre-Training的理解
- 深度神经网络结构以及Pre-Training的理解
- 深度学习笔记(1):caffe 添加新层 attention LSTM layer和LSTM layer代码精读
- MFC cdc hdc 等
- JAVA自动装箱和拆箱功能是把双刃剑
- 2017年12月18日 第四十天次总结
- rsync服务的安装、配置、使用及其安全问题
- jfreechart和springMVC+maven整合
- 深度学习: greedy layer-wise pre-training (逐层贪婪预训练)
- 在android平台编译并使用dlib人脸识别库
- 64. Minimum Path Sum
- Python在Linux下获取CPU温度、使用率、内存使用率、硬盘使用率
- C++命名规范
- FreeBASIC学习笔记——8.4 指针与函数/过程
- codeforces 486A Calculating Function
- 复制网页内容时附加个人ID
- python中的字符数字之间的转换函数