Deep learning

这是我读完Deeplearning(Review 2015 Nature)这篇论文所做的笔记，不妥之处还望广大博友积极提出意见！

                             Deep learning(Review 2015 Nature)

1.引言

（1）深度学习就是一种特征学习方法，把原始数据通过一些简单的但是非线性的模型转变成为更高层次的，更加抽象的表达。通过足够多的转换的组合，非常复杂的函数也可以被学习。

（2）深度学习的核心方面是，上述各层的特征都不是利用人工工程来设计的，而是使用一种通用的学习过程从数据中学到的。

（3）在不久的将来，深度学习将会取得更多的成功，因为它需要很少的手工工程，它可以很容易受益于可用计算能力和数据量的增加。目前正在为深度神经网络开发的新的学习算法和架构只会加速这一进程。

Supervised learning

监督学习

1.      多层神经网络（用连接点表示）可以对输入空间进行整合，使得数据（红色和蓝色线表示的样本）线性可分。

2.      链式法则告诉我们两个小的变化（x和y的微小变化，以及y和z的微小变化）是怎样组织到一起的。

3.      具有两个隐层一个输出层的神经网络中计算前向传播的公式。

4.      计算反向传播的公式。

传统的方法是手工设计良好的特征提取器，这需要大量的工程技术和专业领域知识。但是如果通过使用通用学习过程而得到良好的特征，那么这些都是可以避免的了。这就是深度学习的关键优势。

反向传播算法的核心思想是：目标函数对于某层输入的导数（或者梯度）可以通过向后传播对该层输出（或者下一层输入）的导数求得。

Inside a convolutional network

卷积神经网络

Backpropagation to train multilayer architectures 反向传播以培训多层架构

Image understanding with deep convolutionalnetworks 使用深度网络卷积进行图像理解

Distributed representations and language processing分布式特征表示与语言处理