深度学习与深层神经网络等概念

线性模型的局限性：线性模型可以解决线性问题，然而，现实中遇到的问题几乎都是“复杂问题”，即非线性问题，线性模型不能解决非线性问题，这就是线性模型的局限。

深层神经网络：深层神经网络是解决“多层非线性变换”最常用的一种方法，其可等同于深度学习。即深度学习和深层神经网络需要解决的问题是非线性问题、复杂问题。

激活函数：神经网络中，用激活函数实现“去线性化”，常用的激活函数有ReLU函数、sigmoid函数以及tanh函数等。

损失函数：神经网络模型的效果以及优化的目标是通过损失函数（loss function）来定义的。

损失函数-交叉熵（cross entropy）：交叉熵是常用的评判输出向量和期望向量接近程度的最好方法之一。交叉熵刻画了两个概率分布之间的距离，它是分类问题中使用比较广泛的一类损失函数。

通过q来表示p的交叉熵为：H(p,q)=-(p(x1)*log(q(x1)) + p(x2)*log(q(x2))  + ... +  p(xn)*log(q(xn)) )

Softmax回归：由于交叉熵刻画的是两个概率分布之间的距离，而神经网络的输出却不一定是一个概率分布，那么想用交叉熵来作为分类问题神经网络的损失函数，那么必须将神经网络的输出概率化，即将神将网络前向传播的得到的结果变为概率分布，Softmax回归便是常用的方法。

假设原始的神经网络输出为y(1), y(2), ... , y(n)，那么经过Softmax回归处理后的输出变为：y(i)=sofetmax(y(i))=exp(y(i))/(exp(y(1))+exp(y(2))+ ... +exp(y(n)))

损失函数-均方误差（MSE）：云分类问题不同，回归问题解决的是对具体熟知的预测，如房价走势、销量预测等，这些问题要预测的不是一个实现定义好的类别，而是一个实数。解决回归问题的神经网络一般只有一个输出节点，输出节点的值就是预测值。回归问题最常用的损失函数是均方误差（MSE，mean squared error）。