CNN学习（二）
来源：互联网 发布：序列比对软件 编辑：程序博客网 时间：2024/06/05 14:48
CNN训练与实例
（1）权重初始化
1. W=0，无法训练。因为W=0造成输入无差异
2. 高斯随机 W= 0.01*np.random.randn(D,H). 均值为0，方差为0.01
这样，对于很小的数，在隐层数较大时（>10）,经过激活函数后，函数输出均值几乎/方差为零，无法后向传播
3. W太大，激励过后，输出结果的均值/方差跳跃
4. np.random.randn(num_in,num_out)/sqrt(num_in) 希望每次前一层和后一层的方差尽量接近 ，/sqrt(num_in) 控制波动
但是该方法对ReLu函数不生效，对sigmoid和tanh有效
5. np.random.randn(num_in,num_out)/sqrt(num_in/2) 对ReLu函数生效
6. batch normalization 自动
（2）应用实例 nerual style
input(content & style )
A neural ALgorithm of artistic style 论文
Tensorflow源码
阅读全文
0 0
- CNN学习（二）
- 深度学习与CNN、RNN（二）
- CNN学习（二）-LeNet网络结构的学习
- 深度学习入门（二）Fast R-CNN
- 卷积神经网络学习笔记（二）：CNN代码实例
- CNN学习（一）
- CNN学习（一）
- CNN学习（一）
- 深度学习之二：CNN推导
- 深度学习之CNN二 RCNN系列
- 二十三、用CNN做深度学习
- 系统学习深度学习（二十二）--CNN经典模型总结
- 系统学习深度学习（二十五）--CNN调优总结
- 深度学习（二）——深度学习常用术语解释, Neural Network Zoo, CNN, Autoencoder
- CNN学习笔记（1）
- Tensorflow学习笔记（二）：利用CNN实现手写数字（mnist）识别
- 深度学习（二十五）基于Mutil-Scale CNN的图片语义分割、法向量估计
- 深度学习（二十五）基于Mutil-Scale CNN的图片语义分割、法向量估计
- 二维数组
- LeetCode 199 Binary Tree Right Side View（二叉树层序遍历）
- vs 2017 找不到stdio.h 文件问题
- 利用nodejs的简单web聊天
- php虚拟主机配置
- CNN学习（二）
- No exception of type BeansException can be thrown; an exception type must be a sunclass of Throwable
- web测试方法总结
- Python-OpenCV基本操作
- Ehlib组件DBGridEh自动排序之正常运行
- 51nod
- 基于Bootstrap与jQuery-Validate的个人简易封装
- 从vi命令开始
- linux nice与renice进程优先级调度命令学习与示例
