神经网络学习笔记-01-基本概念

基本概念

• Artificial Neural Network - 基于神经元的计算方向。
  一个人工神经网络系统一般包含多个层，每层包含多个神经元（也称为节点）。
• 第一层是输入层。
  基本上没有什么计算功能，主要是将输入数据映射到每个节点上。
• 中间的层次为隐藏层。
  每层都会有一个输出，包含了本层每个节点的输出数据。
  每层的输出数据，也是下一层的输入数据。
  每层的每个节点会对输入数据分别计算,产生不同的计算结果。
• 最后一层是输出层。
  输出层的每个节点对应一个分类，计算这个分类的概率。最终输出概率最高的分类。

即使百万级的神经单元，也只相当于一只蠕虫的计算能力。

• Predication Function - 预测函数。
  机器学习的结果就是找到这个预测函数。
  在分类问题中，就是找到预测函数的权值(w,b)。

• Activation Function - 激活函数
  神经网络中的一个重要概念。原意是模拟大脑神经元是否激活。
  在神经网络设计中，其作用是：转换神经元的权值输出值为神经元的输出值。
  通俗的理解：权值输出值\(f(x) = wx + b\)的结果是\(x\)在\(f(x)\)上的值，这个不是我们要的分类结果。
  激活函数\(K\)的作用是将计算\(y = K(f(x))\)，将权值输出值转换为分类值。
  下面是常用的激活函数：
• For the hidden layer
  • TanH
  • sigmoid
  • ReLUs
• For the output layer
  • softmax

• Forward Propagation - 正向传播
  在训练过程中，通过输入数据产生输出数据。

• Back Propagation - 反向传播
  在训练过程中，根据计算结果和期望结果的偏差，重新调整各个神经元的权值。
  这个方面有很多算法可以选择。

• Regularization - 正规化
  一种避免多度训练（overfitting）的方法。多度训练会导致训练结果对噪音数据过度敏感。
  理论上来说，对当前的预测函数，根据它的复杂度，计算一个惩罚值。通过惩罚值来调整预则函数的权值。

• Gradient Descent - 梯度下降
  反向传播中，用于调整权值的一个概念，表示计算调整的方向和大小。

• Loss Function - 损失函数
  在分类问题中，一种计算方法，计算因不准确预测而导致的代价。

训练过程

• 初始化 -> （正向传播 -> 反向传播 -> 正规化 -> 梯度下降 -> 重复训练）

人话就是：
初始化: 随便产生个预测函数（w b）。
正向传播：先算一下。
反向传播: 有偏差（废话）。
正规化: 让偏差变得好看点。
梯度下降：把预测函数（w b）向偏差的方向挪一下。
重复训练：把上面的过程来上500遍。

神经网络示意图

Neural NetworkHidden LayerOutput LayerDataInput LayerOutput(x_1,...,x_i)mapjx1_j....2x1_21x1_1x1_j...x1_2x1_1(x1_1,...,x1_j)na1_n....3a1_32a1_21a1_1(a1_1,...,a1_n)mp(y_m)....1p(y_1)yargmax

参照

• Artificial neural network