神经网络中一些基础概念

（1）神经元：接收输入，处理它，并产生输出，而这个输出又被发送到其他神经元用于进一步处理

（2）权重（weights）：当输入进入神经元时，它会乘以一个权重

（3）偏差（bias）：应用于输入的线性分量，被加到权重与输入相乘的结果中，目的是改变权重与输入乘积结果的范围

（4）激活函数：将输入信号转换为输出信号（多个输入参数时，乘积的加和再加上偏差是输入信号）

常用的激活函数：

Sigmoid

ReLU（整流线性单位）：处理隐藏层，x>0时，y=x; x<0时，y=0

Softmax：用于输出层，分类问题

（5）神经网络：目标是找到一个未知函数的近似值

（6）输入/输出/隐藏层：输入、输出层可见

（7）MLP（多层感知器）：完全连接的网络，即每层中所有神经元都连接到下一层的所有神经元

（8）正向传播（forward propagation）：输入通过隐藏层到输出层的运动，信息沿着单一方向前进

（9）成本函数（cost function）：衡量网络的准确性，最优化的输出是成本/损失函数值最小的输出

若为均方误差，则c=1/m ∑(y-a)^2

（10）梯度下降（gradient descent）：一种最小化成本的优化算法，最终得到函数的局部最小值

（11）学习率（learning rate）：每次迭代中成本函数中最小化的量

（12）反向传播（backpropagation）：误差随着梯度从外层通过隐藏层流回，并根据各层误差更新权重

（13）批次（batches）：将输入分成几个随机大小相等的块，与整个数据集一次性送到网络建立的模型相比，更加广义化

（14）周期（Epochs）：向前和向后传播中所有批次的单次训练迭代

（15）丢弃（Dropout）：一种正则化技术，在训练期间，隐藏层中一定数量的神经元被随机地丢弃，意味着训练发生在神经网络的不同组合的几个构架上。可以将多个网络的输出用于产生最终结果。

（16）批量归一化（batch normalization）：将数据发送到下一层之前明确规范化数据