TensorFlow - ReLU函数

TensorFlow - ReLU函数

flyfish

ReLU函数

全名是rectified linear unit

修正线性单元

函数的形式为y=max（x，0

小于0时输出一律为0，x大于0时输出就是x。

函数图像是



代码是

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-100, 100, 1000)
y=np.maximum(0, x)
plt.plot(x,y,label="label",color="red",linewidth=2)
plt.xlabel("abscissa")
plt.ylabel("ordinate")
plt.title("LeRU Example")
plt.show()

np.maximum示例

np.maximum([2, 3, 4], [1, 5, 2])

逐个元素比较，输出较大者

输出 array([2, 5, 4])

它的一个平滑解析函数是softplus function，函数形式是f(x)=ln[1+exp(x)],

或者 f(x)=ln(1+ex)

函数图像是



代码是

import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-4, 4, 100)
y=np.log(1 + np.exp(1*x))
plt.plot(x,y,label="label",color="red",linewidth=2)
plt.xlabel("abscissa")
plt.ylabel("ordinate")
plt.title("softplus Example")
plt.show()