Deep Learning 学习系列004 —— 结构设计

神经网络的结构：神经网络有多少个神经单元和这些神经单元之间怎么连接。在链状结构中，上述问题变为选择神经网络的深度和每层的宽度。

统一逼近理论：具有一个线性输出单元，至少一个隐藏层和一个挤压激活函数的前向神经网络可以逼近任意Borel可测函数。

统一逼近理论表明，一个MLP（多层感知器）可以逼近表示任意函数。但是我们不能保证学习算法可以学到这个函数，学习失败的原因有二：
1. 最优化算法不能得到理想函数对应的参数；
2. 由于过拟合，学习算法可能学到错误的函数。

总结：一层前向神经网络足够表示任意函数，但是这一层可能不切实际的大，并且不能学习和泛化。在许多情况下，使用更深的模型可以减少表示理想函数的神经单元数目，同时可以减少泛化误差。