ReLU函数简介

打开一些神经网络的网络描述文件，可以看到不同的层，其中就有一种层的类型，叫做ReLU。今天正好有小伙伴问起，虽然是基础部分但是还是来总结一下吧。首先看网络结构描述的形式：

layer {  name: "conv1"  type: "Convolution"  bottom: "data"  top: "conv1"  param {    lr_mult: 1  }  param {    lr_mult: 2  }  convolution_param {    num_output: 96    pad: 3    kernel_size: 7    stride: 2  }}layer {  name: "relu1"  type: "ReLU"  bottom: "conv1"  top: "conv1"}

这里截取Faster R-CNN的模型文件一小部分，可以看到，在卷积层后面紧接着是一个ReLU层，主要定义了name，type，bottom，top，其属于非线性激活函数的一种，同类型的函数还有sigmoid函数，tanh函数，softplus函数等等。对于ReLU函数，其公式即为个ReLU(x)=max(0, x)，而sigmoid函数为sigmoid(x)= 1/(1+e^-x)，而Softplus(x)=log(1+ex)。有一个经典的4种函数图形表示如下：


从图形可以看出，后图中的ReLU与softplus函数与前图中的传统sigmoid系激活函数相比，主要变化有三点：①单侧抑制 ②相对宽阔的兴奋边界 ③稀疏激活性（重点，可以看到红框里前端状态完全没有激活）。

那么为什么现在这么多网络都更多地使用ReLU函数呢？

一个重要原因就是上面提到的，其稀疏激活性。
标准的sigmoid函数输出不具备稀疏性，需要用一些惩罚因子来训练出一大堆接近0的冗余数据来，从而产生稀疏数据，例如L1、L1/L2或Student-t作惩罚因子。因此需要进行无监督的预训练。
而ReLU是线性修正，是purelin的折线版。它的作用是如果计算出的值小于0，就让它等于0，否则保持原来的值不变。这是一种简单粗暴地强制某些数据为0的方法，然而经实践证明，训练后的网络完全具备适度的稀疏性。而且训练后的可视化效果和传统方式预训练出的效果很相似，这也说明了ReLU具备引导适度稀疏的能力。
因此，ReLu的使用，使得网络可以自行引入稀疏性，同时大大地提高了训练速度。下面贴出一些不同函数下的训练结果对比数据：

ReLU因而在深度网络中已逐渐取代sigmoid而成为主流。