TensorFlow

TensorFlow - ReLU函数

flyfish

ReLU函数
全名是rectified linear unit
修正线性单元

函数的形式为y=max（x，0
小于0时输出一律为0，x大于0时输出就是x。
函数图像是

代码是

import numpy as np  import matplotlib.pyplot as plt  x = np.linspace(-100, 100, 1000)  y=np.maximum(0, x)plt.plot(x,y,label="label",color="red",linewidth=2)  plt.xlabel("abscissa")  plt.ylabel("ordinate")  plt.title("LeRU Example")  plt.show()

np.maximum示例
np.maximum([2, 3, 4], [1, 5, 2])
逐个元素比较，输出较大者
输出 array([2, 5, 4])

它的一个平滑解析函数是softplus function，函数形式是f(x)=ln[1+exp(x)],

或者 f(x)=ln(1+ex)

函数图像是

代码是

import numpy as np  import matplotlib.pyplot as plt  x = np.linspace(-4, 4, 100)  y=np.log(1 + np.exp(1*x))plt.plot(x,y,label="label",color="red",linewidth=2)  plt.xlabel("abscissa")  plt.ylabel("ordinate")  plt.title("softplus Example")  plt.show()