深层神经网络——线性模型的局限性

深度学习精确定义：
一类通过多层非线性变换对高复杂数据建模算法的集合。
深层神经网络是实现多层非线性变换最常用的一种方法，实际中基本可以认为深度学习就是深层神经网络的代名词。
深度学习特性：多层和非线性

线性模型的局限性：
再线性模型中，模型的输出为输入的加权和，假设一个模型的输出y和输入x满足以下关系，这个模型就是一个线性模型。

其中wi,b∈R为模型参数。被称之为线性模型是因为当模型的输入只有一个的时候，x和y形成了二维坐标系上的一条直线。类似的，当模型的输入有n个的时候，x和y就形成了n+1维空间的中的一个平面。而一个线性模型中通过输入得到输出的函数被称之为一个线性变换。上面的公式是一个线性变换。线性模型最大特点是任意线性模型的组合仍然还是线性模型。
前向传播算法实现的就是一个线性模型：

其中x是输入，W是参数。整个模型的输出为：

这样输入和输出的关系就可以表示为：

其中W’是新的参数。这个前向传播算法完全符合线性模型的定义。我们可以得知，虽然这个神经网络有两层（不算输入层），但是它和单层的神经网络并没有区别。以此类推，只通过线性变换，任意层的全连接神经网络和单层的神经网络模型的表达能力没有任何区别，而且它们都是线性模型。线性模型能够解决的问题是有限的，这就是线性模型最大的局限性。