参数初始化
来源:互联网 发布:防狼喷雾剂 淘宝 编辑:程序博客网 时间:2024/05/16 07:02
转自:http://blog.csdn.net/u012526120/article/details/49153683
0. 引言
在主成分分析与白化一节中介绍了如何对输入数据进行预处理,在这节中介绍与之类似的另一个问题,参数初始化(Weight Initialization)。
在模型训练之初,我们不知道参数的具体分布,然而如果数据经过了合理的归一化(normalization)处理后,对于参数的合理猜测是其中一半是正的,另一半是负的。然后我们想是不是把参数都初始化为0会是比较好的初始化?这样做其实会带来一个问题,经过正向传播和反向传播后,参数的不同维度之间经过相同的更新,迭代的结果是不同维度的参数是一样的,严重地影响了模型的性能。
1. 小的随机数
我们仍然想要参数接近于0,又不是绝对的0,一种可行的做法是将参数初始化为小的随机数,这样做可以打破对称性(symmetry breaking)。python代码如下:
- 1
- 2
- 3
其中randn从均值为0,标准差是1的高斯分布中取样,这样,参数的每个维度来自一个多维的高斯分布。需要注意的是参数初始值不能取得太小,因为小的参数在反向传播时会导致小的梯度,对于深度网络来说,也会产生梯度弥散问题,降低参数的收敛速度。
2. 将方差乘以1/sqrt(n)
参数随机初始化为一个小的随机数存在一个问题:一个神经元输出的方差会随着输入神经元数量的增多而变大。对于有n个输入单元的神经元来说,考虑
- 1
其中n为这个神经元输入的个数。这样可以确保神经元的输出有相同的分布,提高训练的收敛速度。
将上面初始化方案推广到网络的一层,对于神经网络的第一层可以这样初始化:
- 1
- 2
- 3
Understanding the difficulty of training deep feedforward neural networks文章中给出一个类似的初始化方案:
- 1
- 2
- 3
对于Relu激活神经元,Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification认为每个神经元的方差应该为:
- 1
- 2
- 3
3. 偏置项的初始化
通常偏置项(bias)初始化为0:
- 1
- 2
- 3
对于Relu激活神经元来说,可以将偏置项初始化为一个小的常数,比如0.01,但不确定这样做是否提高收敛的表现,在实际应用中,也常初始化为0。
参考内容:
1. http://cs231n.stanford.edu/syllabus.html
- 初始化参数
- 参数初始化
- Servlet初始化参数与上下文初始化参数
- servlet初始化参数和上下文初始化参数
- Oracle初始化参数文件
- java servlet 初始化参数
- oracle10g初始化参数说明
- oracle10g初始化参数说明
- Oracle9i的初始化参数
- oracle10g初始化参数说明
- oracle10g 初始化参数说明
- 修改oracle初始化参数
- 初始化参数文件
- 初始化系统音量参数
- 参数初始化表
- oracle初始化参数
- oracle10g初始化参数说明
- oracle10g初始化参数说明
- 单调队列优化
- 自己实现一个简单的ArrayList
- 判定某个整数是否能被7整除
- apidoc 安装与使用示例生成 Api文档
- request 获取各种路径
- 参数初始化
- TestNG+Jenkins+Maven参数化测试dubbo接口
- spring中轻松实现定时任务,quartz表达式的在线Cron表达式生成器推荐
- 树形DP
- 反转链表
- jmeter CSVRead函数与csv配置元件的相对路径
- Python基础语法
- (python3)1078. 字符串压缩与解压 (20分)——2017-12考题
- 左侧交易和右侧交易的一些基本特征