深度学习——预训练
来源:互联网 发布:蛋白质质谱数据分析 编辑:程序博客网 时间:2024/06/03 16:57
深度网络存在问题:
网络越深,需要的训练样本数越多。若用监督则需大量标注样本,不然小规模样本容易造成过拟合(深层网络意味着特征比较多,机器学习里面临多特征:1、多样本 2、规则化 3、特征选择);
多层神经网络参数优化是个高阶非凸优化问题,常收敛较差的局部解;
梯度扩散问题,BP算法计算出的梯度随着深度向前而显著下降,导致前面网络参数贡献很小,更新速度慢。
解决方法:
逐层贪婪训练,无监督预训练(unsupervised pre-training)即训练网络的第一个隐藏层,再训练第二个…最后用这些训练好的网络参数值作为整体网络参数的初始值。
1、无监督学习——->参数初始值;
2、监督学习——->fine-tuning,即训练有标注样本。
经过预训练最终能得到比较好的局部最优解。
fine-tuning对神经网络权值改变很小,似乎权值被困在某个局部区域。而且第一层改变最少,第二层次之…最后一层最大。
0 0
- 深度学习——预训练
- 深度学习——训练trick
- 深度学习——训练过程
- 深度学习——训练trick
- 深度学习——缩减+召回加速网络训练
- 深度学习——缩减+召回加速网络训练
- 深度学习——keras训练AutoEncoder模型
- 深度学习——keras训练RNN模型
- 创新工场深度学习暑期训练营 — 聊天机器人
- 深度学习训练技巧
- 深度学习训练技巧
- 深度学习训练数据处理(1)——.mat文件中提取训练图片
- 深度学习实践经验:用Faster R-CNN训练Caltech数据集——训练检测
- 深度学习实践经验:用Faster R-CNN训练Caltech数据集——训练检测
- Tensorflow深度学习入门——优化训练MNIST数据和调用训练模型识别图片
- 神经网络与深度学习笔记——第5章 深度神经网络为何很难训练
- 【神经网络与深度学习】深度学习实战——caffe windows 下训练自己的网络模型
- 迁移学习——数据不够的情况下训练深度学习模型
- MATLAB中求最大/最小值max/min函数
- ABAP News for Release 7.40 – What is ABAP 7.40?
- Java多线程源码
- iOS之NSData的使用
- jsp页面下 报错,不能正确显示
- 深度学习——预训练
- 一个RIPv2案例
- java打印数字图形
- slf4j初步使用之以当前登录用户命名文件名
- python函数的lambda函数表达式
- 两栏布局——实现左边固定,右边 自适应(右边固定,左边自适应)
- sql server 行转列
- Oracle SQL查询优化方法2
- servlet