dropout的理解

来源:互联网 发布:java递归算法 编辑:程序博客网 时间:2024/05/17 02:29

在训练的时候,我们只需要按一定的概率(retaining probability)p 来对weight layer 的参数进行随机采样,将这个子网络作为此次更新的目标网络。可以想象,如果整个网络有n个参数,那么我们可用的子网络个数为 2^n 。 并且,当n很大时,每次迭代更新 使用的子网络基本上不会重复,从而避免了某一个网络被过分的拟合到训练集上

2^n:参数节点可以分为1或0;所有n个不同的节点,有2^n种情况

0 0
原创粉丝点击