深度学习——激活函数

来源:互联网 发布:仁川登陆作战影评知乎 编辑:程序博客网 时间:2024/06/10 03:40

激活函数值应该是zero-centered

Sigmoid激活函数值全正,并不以0为中心。这会导致参数梯度要么全为正,要么全为负。见cs231n的Lecture 5 34-35页.