2张图理解resnet核心思想

来源:互联网 发布:华三交换机开启端口 编辑:程序博客网 时间:2024/05/24 05:53

resnet是用于解决什么问题的

实验结果表明,层数的增加会提高网络的学习效果。但是,实验结果也表明,如果只是单纯的增加网络的深度,网络的学习能力会下降。实验结果如下图所示:56层的学习误差比20层的学习误差还要大。因此,我们需要一种方法,使网络的深度增加的同时,学习能力也增加。
这里写图片描述

resnet是通过什么方式来解决问题的

resnet的出现就是来解决这个问题的。
一般情况下我们的网络如下图所示,相较于resnet,我们称之为plaint net,经过两个神经层之后,输出的H(x)如下所示:
H(x)=relu(w2(relu(w1x)))
H(x)xH(x)=2x
这里写图片描述

但是,在残差的网络中,用F(x)=relu(w2(relu(w1x)))
而输出的H(x)=F(x)+x,那么,为什么要这么设置呢?
Residual Net 核心思想是,去拟合残差函数 F(F=H(x)g(x)),选 g(x)=x 时效果最好。
因此,F(x)=H(x)x

这里写图片描述

0 0
原创粉丝点击