深度学习——激活函数

来源:互联网 发布:仁川登陆作战影评知乎 编辑:程序博客网 时间:2024/05/20 14:19

激活函数值应该是zero-centered

Sigmoid激活函数值全正,并不以0为中心。这会导致参数梯度要么全为正,要么全为负。见cs231n的Lecture 5 34-35页.

原创粉丝点击