机器学习第五周（二）

1、Unrolling parameters

---

2、Gradient checking
梯度检验是对反向传播算法求得的偏导数的一种检验。公式如下：

应用到theta矩阵：

这里作者给出一个循环求每个梯度检验值，并将epsilon = 1e-4;

一般步骤：

记住，在用反向传播算法学习前，一定要关掉梯度检验，因为梯度检验运行效率非常慢。

---

3、Random initialization
在逻辑回归中，我们一般可以初始化theta为0，但在神经网络中不可取，造成冗余，导致神经网络性能下降。
在神经网络中theta的初始化范围在[-epsilon,epsilon]之间，这里的epsilon和梯度检验的epsilon不是同一个，这里只是一个表示名而已。

---

4、Putting it together

一般我们采用一个隐藏层，当隐藏层数量大于1时，默认所有的隐藏层结点是相同的。
下面给出训练神经网络的一般步骤：


最后用一幅图解释神经网络工作过程：

因为J-theta并不是一个凸函数，所以最后收敛的结果是一个局部最小，神经网络所求梯度就是每一次迭代的方向，最后收敛到近似等于给定的输出值y。