深度学习基础(五)—— rectifier function and softplus

来源:互联网 发布:php读取chm文件内容 编辑:程序博客网 时间:2024/06/10 12:43


这里写图片描述

rectifier

f(x)=max(0,x)

softplus

f(x)=ln(1+ex)

softplus vs sigmoid

f(x)=ex1+ex=11+ex

说明

softplus 是对 ReLU 的平滑逼近的解析函数形式。

References

[1] Rectifier (neural networks)

0 0