读书笔记：Deep Learning [Ada-Computation&ML series]--chapter8.Optimization

part1.optimization

1.为什么需要代理损失函数？因为我们真正关心的损失函数通常不容易优化，比如0-1期望loss。因此我们使用代理损失函数来近似，优势是可导，比如用负对数似然NLL。

2.即使expected 0-1 loss 为0，但NLL还是会持续减小，即令类间的距离再被分的更大一些，从而更鲁棒。

3.为了防止过拟合，通常会在梯度还比较大的时候停止early stopping,但是单纯的优化来讲，一般会在梯度接近0的时候才停止。

4.Batch:

     1）不要用大batch size.比如对于n个样本的估计标准差，将样本从100增加到10000，计算增加了100倍，而标准差只降低了10倍(delta / sqrt (n) )，非线性回报，不划算。

     2）估算近似梯度比计算准确梯度要快收敛，因为训练集数据会有redundancy，大量样本对于梯度的贡献类似。

     3）online:一次用一个样本来更行，batch：一次用所有样本，minibatch:介于前两者之间

5.mini batch

     1)多核结构下，太小的batch不能充分发挥性能

     2）如果是并行运算，需要大内存，从而限制batch size

     3）通常选32-256

     4）通常batch size = 1时泛华误差最小(由于学习过程中引入噪声，可以看做是一种正则化)，但由于梯度方差太大，需要减小learning rate使得学习稳定，但是会消耗更多时间，需要更多步去看完所有的样本。

     5）二阶的牛顿法，需要使用较大的batch size(10000)，以最小化H-1g的波动；由于g的小波动会被放大，并且H-1是估计值，进一步放大误差。

     6）保证minibatch是随机选取的，样本不会重复出现。但是一般先打乱再存储为固定的顺序就可以了。这样只有在第一遍看的时候对于泛化误差的估计是无偏的。后面的epoch都是有偏的，因为第一遍都看过了这些数据，而不是从数据分布中采样的新的样本。

     7）训练集足够大的时候过拟合不是问题，主要考虑欠你和与计算效率。

5.momentum解决两个问题：

     1）poor conditioning of hessian matrix

     2）variance in the stochastic gradient

part2.优化的挑战

1.ill condition的判断：监视梯度二范式g’g和g’Hg,通常g'g不会显著减小，但是g’Hg会迅速增长，所以lr要变小

2.局部最优：即使设计关于x的凸函数作为cost fun,该函数关于参数w1,w2仍是非凸函数。

3.模型唯一性：有足够大的训练集，使得模型排除掉所有参数，只保留一组参数。但是一般情况下没有那么多数据，因此模型非唯一性是普遍存在的问题。会带来多个局部最优。如果cost fun不包含weight decay这种直接依赖于权重而不是输出的项的话，那么假如对输入weight&bias放大a倍，输出放大1/a,这种是除了权重对称之外，也能带来模型唯一性的原因。

part3.初始化策略

 1.初始化需要打破权重对称

 2.较大初始值

     优点：

     1）有较强的破坏对称能力，避免冗余单元

     2）避免信号在前向、反向过程中丢失

     缺点：

     1）梯度爆炸 + chaos（对小扰动敏感）

     2）激励函数变平坦(sigmoid,位于梯度接近0的区域)

3.策略：

优化角度：权重要足够大可以成功传递信息

正则化角度：权重要小

一些方法比如SGD,会在初始值附近停止，表达的先验是最终的参数应该位于初始值附近。

4.初始化FC，折中办法：初始化使得所有层有相同的激励方差，以及相同的梯度方差。

5.但是上述办法一般不work：在整个网络中保持信号未必是有益的，开始学习后不应该保持初始值，也许能加速优化，但是会提高泛化误差。

6.稀疏初始化：有更多的多样性

先验：缩小错误大梯度需要下降很多次

7.计算资源允许的话：

     1）将初始比例作为每层的超参数

     2）将是否稀疏作为超参数

8.一般将 bias设置为0，除非以下情况：

bias是输出单元的值，需要匹配边缘分布；避免saturation(RELU)，作为门控制其他单元的时候(b=1 for LSTM)

part4.Batch Normalization

0.公式

假设H是一个要做BN的层的minibatch的响应

H’ = (H - u)/ delta     //逐行归一化

训练时：

u = 1/m * sum(Hi)

delta = sqrt( 10^-8 + 1/m * sum(Hi - ui)^2 )

在训练的时候用移动平均（类似于momentum）的方式更新batch mean和variance，训练完毕，得到一个相对比较稳定的mean和variance，存在模型中。

测试的时候，就直接用模型中的均值和方差进行计算

1.假设x是单位高斯分布，那么对于y = x*w1*w2*…*wl, h(l-1)也是高斯的，但是已经不是单位高斯分布了。有BN之后，h(l-1)不会受到每次更新的影响，使得学习变得更容易。因为BN归一化了一阶和二阶的统计量，这是一个线性网络所能影响的全部。但是对于非线性网络，底层还是对结果有影响。

2.为什么先将mean设为0，在引入beta将其还原到任意值？

因为新参数可以表达旧参数所表示的相同的函数。在旧参数中，mean(H）由在H之前的层之间的参数的复杂关系所决定。而在新参数中，mean(rH’ + beta)只由beta决定，它更容易通过梯度下降学到。

3.归一化 X or WX + b?why not X?

     X经过前一层的非线性映射，更不高斯，更难通过线性操作做标准化。

part5.pre-training

本质是一种贪心算法，将原问题分成两个阶段， 再分别求最优解。计算复杂度低，结果不是最优但是可以接受。

为什么起作用？

因为它是对深层结构中间层提供引导。可以参考Fitnet