一步一步分析讲解神经网络基础-activation function

activation function：在神经网络中经常，看到它的身影。那现在问题来啦。它是什么？为什么需要它？
有些回答：增加非线性特征。解决线性无法分割的难题，…。严格来讲这些回答太笼统。
第一个问题：先来回答它是什么？
它是一个non-linear function.
是一个连续的函数，
并且在定义域内处处可微。
（可微，不一定可导。这是微分的基础知识，不太清楚的童鞋，一定要把断点，可（偏）微，可（偏）导，全微搞清楚）下面常用激活函数表：
名称，点图，公式，一阶导数，值域，定义域。

In computational networks, the activation function of a node defines the output of that node given an input or set of inputs. A standard computer chip circuit can be seen as a digital network of activation functions that can be “ON” (1) or “OFF” (0), depending on input. This is similar to the behavior of the linear perceptron in neural networks. However, only nonlinear activation functions allow such networks to compute nontrivial problems using only a small number of nodes. In artificial neural networks this function is also called the transfer function.

在神经网络中，激活函数定义一个包含大量输入节点的输出。
在一个标准的计算芯片电路，可以看成一个数字网络的用来处理0和1的激活函数。
但是，通常情况下，只有非线性的激活函数才能解决一个不寻常的问题。
在人工神经网络中，这个函数也被称为transfer function。
以上是数学特征。

我们来看看生物学上的特征。

In biologically inspired neural networks, the activation function is usually an abstraction representing the rate of action potential firing in the cell[according to whom?]. In its simplest form, this function is binary—that is, either the neuron is firing or not. In this case many neurons must be used in computation beyond linear separation of categories.

在生物学启发神经网络中，在细胞里，激活函数通常别看做动作电位发放率的抽象。
最简单的形式，这个函数是二元的，就是说，神经元是否在发射。这样拥有激活函数的神经元就能超越线性分类的功能。

第二个问题：如何选择一个激活函数？
how to choose an activation function ?
待续…，大家先看看paper，我们一块讨论这个问题。
paper的百度网盘地址：https://pan.baidu.com/s/1hrR0aJa