【DL--13】CNN 两大特性(局部连接、权重共享)
来源:互联网 发布:php中的错误类型有哪些 编辑:程序博客网 时间:2024/05/20 08:41
在多层感知器模型中,神经元通常是全部连接,参数较多。而卷积层的参数较少,这也是由卷积层的主要特性即局部连接和共享权重所决定。
局部连接:每个神经元仅与输入神经元的一块区域连接,这块局部区域称作感受野(receptive field)。在图像卷积操作中,即神经元在空间维度(spatial dimension,即上图示例H和W所在的平面)是局部连接,但在深度上是全部连接。对于二维图像本身而言,也是局部像素关联较强。这种局部连接保证了学习后的过滤器能够对于局部的输入特征有最强的响应。局部连接的思想,也是受启发于生物学里面的视觉系统结构,视觉皮层的神经元就是局部接受信息的。
权重共享:计算同一个深度切片的神经元时采用的滤波器是共享的。例如图4中计算o[:,:,0]的每个每个神经元的滤波器均相同,都为W0,这样可以很大程度上减少参数。共享权重在一定程度上讲是有意义的,例如图片的底层边缘特征与特征在图中的具体位置无关。但是在一些场景中是无意的,比如输入的图片是人脸,眼睛和头发位于不同的位置,希望在不同的位置学到不同的特征 (参考斯坦福大学公开课)。请注意权重只是对于同一深度切片的神经元是共享的,在卷积层,通常采用多组卷积核提取不同特征,即对应不同深度切片的特征,不同深度切片的神经元权重是不共享。另外,偏重对同一深度切片的所有神经元都是共享的。
通过介绍卷积计算过程及其特性,可以看出卷积是线性操作,并具有平移不变性(shift-invariant),平移不变性即在图像每个位置执行相同的操作。卷积层的局部连接和权重共享使得需要学习的参数大大减小,这样也有利于训练较大卷积神经网络。
池化是非线性下采样的一种形式,主要作用是通过减少网络的参数来减小计算量,并且能够在一定程度上控制过拟合。通常在卷积层的后面会加上一个池化层。池化包括最大池化、平均池化等。其中最大池化是用不重叠的矩形框将输入层分成不同的区域,对于每个矩形框的数取最大值作为输出层,如图6所示。
更详细的关于卷积神经网络的具体知识可以参考斯坦福大学公开课和图像分类教程。
- 【DL--13】CNN 两大特性(局部连接、权重共享)
- CNN:(局部感知+权共享机制:让一组神经元使用相同的连接权)
- 2016.3.29 局部感知,权重共享和池化
- Tensorflow + Mnist (两层CNN,两层全连接)
- css三大特性继承、层叠和优先级(权重)
- DL:卷积神经网络(CNN)的一些学习网址
- 基于DL的计算机视觉(10)-- 详谈CNN
- CNN学习笔记(1)稀疏连接和权值共享的理解
- CNN卷积层神经元数量、连接数量、权重数量的计算
- Tensorflow CNN(两层卷积+全连接+softmax)
- iOS 5两大隐藏特性
- iOS 5两大隐藏特性
- iOS 5两大隐藏特性
- 专利权发明的两大特性
- 配制两台笔记本共享Internet连接
- 大“内”高手【共享内存与线程局部存储】
- 大“内”高手【共享内存与线程局部存储】
- keras学习笔记4——部分连接非共享权重层
- Maven项目pom.xml文件报xxx\target\classes\META-INF\MANIFEST.MF (系统找不到指定的路径)问题
- gem install报错ERROR: While executing gem ... (Gem::RemoteFetcher::FetchError) Errno::ECONNRESET:
- D
- 怎样从0开始搭建一个测试框架_6——PageObject
- TextCNN
- 【DL--13】CNN 两大特性(局部连接、权重共享)
- 【KMP next树】51nod 1277 字符串中的最大值
- Struts2学习笔记(五)——result结果类型
- OpenSSL生成自签名证书
- kubernetes学习记录(4)——创建kubernetes覆盖网络
- http 请求工具
- C# 程序员最常犯的 10 个错误 【已翻译100%】 英文原文:Top 10 Mistakes that C# Programmers Make 标签: C# oschina 推荐于 3年前 (共
- MIMO技术杂谈(一):鱼与熊掌能否兼得?--浅谈分集与复用的权衡
- 怎样从0开始搭建一个测试框架_7——接口