吴恩达深度学习之改善神经网络(三)

3.1 调试处理(Tuning process)

神经网路的改变会涉及到许多不同的超参数的设置。下面我们介绍一些指导性原则。
关于训练深度最难的事情之一就是，我们要处理的参数的数量，从学习速率α到momentum的β,如果使用momentum或者Adam优化算法的参数即β1,β2以及ε,也许我们还得选择隐藏层的层数，以及隐藏单元的数量。
实验证明，有一些超参数会比另外一些超参数重要，比如最广泛地学习应用是α，学习速率α是最重要的超参数。我们列举一下常用的超参数，如下所示：

红色的超参数最重要，其次是黄色的，然后是紫色的。
在早起的机器学习算法中，我们都是用网格取点的方式来确定哪个参数效果最好，如下图所示：

在深度学习领域，我们的做法是随机选择点，接着用这些随机选择的点实验超参数的效果，先用如下图举个例子：

假设我们有两个超参数需要调整，一是学习率α,二是Adam算法中的ε,我们实验了α的5个取值，发现无论ε如何取值，结果基本没什么变化，我们就可以发现哪个参数最重要了。如果有3个超参数，就用立方体搜索。
随机取值而不是网格取值，我们可以探索更多重要的超参数的潜在值。其次可以采用粗糙到精细的策略。如下所示：

3.2 超参数的训练与实践:pandas vs Caviar