dropout与过拟合

来源:互联网 发布:哪有学java的学校 编辑:程序博客网 时间:2024/05/01 18:32

1.防止过拟合的方法:

提前终止(当验证集上的效果变差的时候),early stoppingL1和L2正则化加权soft weight sharingdropout

2.dropout率的选择

经过交叉验证,隐含节点dropout率等于0.5的时候效果最好,原因是0.5的时候dropout随机生成的网络结构最多。dropout也可以被用作一种添加噪声的方法,直接对input进行操作。输入层设为更接近1的数。使得输入变化不会太大(0.8)
原创粉丝点击