吴恩达深度学习入门学习笔记之神经网络和深度学习（第一周）

第一周为深度学习概论，教授了一些基础概念。
2017.8.31
1.3 用神经网络进行监督学习
对于一般的数据，比如说房价问题，使用标准的神经网络。

对于图像领域中的一些数据处理，经常使用CNN（卷积神经网络）

对于序列数据，比如音频文件，和时间有关系，是一维时间序列，经常使用RNN（循环神经网络）。还有单词等逐个出现的数据。

对于一些复杂的数据，比如说道路检测中图像加雷达，可以用更复杂的混合神经网络。

机器学习可应用于结构化（structured data）和非结构化数据（unstructured data）
结构化例子：表格，数据库等
非结构化例子：图像，音频文件

1.4 为什么深度学习会兴起
1.兴起原因：数据量的剧增，计算能力的增长+算法的创新

2.要想解决问题的性能更好：1.数据量够大 2.网络够大
3.通常使用m来表示训练集的大小
4.通过将sigmoid函数转换为ReLU函数，能够使得梯度下降法运行的更快。
因为sigmoid函数两边梯度接近于0，所以学习会变得非常缓慢；因为在用梯度下降法时，梯度接近于0时，参数会变化的很慢。而ReLU对于正值输入的梯度为1.