深度神经网络面临的挑战与解决方案

1. 模型选择（structural decision）

主观性的领域知识（domain knowledge）：针对图像的CNN，卷积神经网络模型。

2. 模型复杂度（model complexity）

正则化（regularization）技术：

• dropout：when network corrupted，网络结构本身被破坏时，dropout 是一种 corruption，
• denoising：when input corrupted，输入信息被污染

3. 优化问题（optimization problem）

• careful initialization 避免局部极小值的出现

  这一步称为预训练（pre-training）

4. 计算复杂度

• 采用新的硬件体系结构：比如使用GPU（使用mini_batch）