激活函数--activation function 介绍一下几种激活函数的不同

激活函数--activation function

介绍一下几种激活函数的不同

1、tf.nn.relu(features, name=None)

输入：features：是一个张量Tensor,格式必须为：float32, float64, int32, int64, uint8, int16, int8当中的一种。

实质：计算整数线性，输入的特征（features）中的矩阵元素，与0进行比较：max（features，0）

代码执行如下：

 

 

 

2、tf.nn.relu6(features, name=None)

输入：

features：是一个张量Tensor,格式必须为：float32, float64, int32, int64, uint8, int16, int8当中的一种。

输入矩阵和上面一样。

实质：对整数的tensor进行非线性变换，实质是输的feaetures中的元素先与0进行比较，用0代替其中的小于零的元素得到features1，再把features1中的元素与6进行比较，用6代替大于六的元素：min(max(features, 0), 6)

代码执行如下：

 

 

3、tf.nn.softplus(features, name=None)

输入：

features：是一个张量Tensor,格式必须为：float32, float64, int32, int64, uint8, int16, int8当中的一种。

实质：对features中的元素进行的运算，在结果中分别再加上1，再把加一之后的结果取对数：log(exp(features) + 1)

代码执行如下：

 

4、tf.nn.sigmoid(features,name=None)

输入：

features：是一个张量Tensor,格式必须为：ffloat, double, int32, complex64, int64,或者 qint32.当中的一种。

实质：y = 1 / (1 + exp(-x))

执行结果如下：

 

 

5. tf.nn.tanh（features，name=None）

输入：

features：是一个张量Tensor,格式必须为：float, double, int32, complex64, int64,或者 qint32

实质：计算元素的双曲正切函数

函数图形如下：

 

代码执行结果：

 

 

有什么深度学习、机器学习、计算机视觉、图像识别、目标检测、图像语义检测的问题，咱们可以互相探讨，微信