非监督特征学习与深度学习(九)----使用卷积进行特征提取
来源:互联网 发布:汉宫外设淘宝店网址 编辑:程序博客网 时间:2024/05/22 07:39
注:本文转载自https://github.com/ysh329/Chinese-UFLDL-Tutorial
因为github上的makedown格式显示的不够完全,看的非常不方便,因此放到CSDN上比较好查阅学习。
使用卷积进行特征提取(Feature Extraction Using Convolution)
概览(Overview)
在之前的练习中的图片分辨率都偏低,如手写数字图像。在本节中将会学到一种方法,能够用在实际中更大的图像数据集上。
全连接网络(Fully Connected Networks)
在稀疏编码器(译者注:后文会讲到,这部分是老版的教程,所以内容跳跃了)中,一种设计选择是先前已经讲到的“全连接”,即所有的隐含层单元与所有输入单元完全连接起来。在先前练习中使用的是相对较小的图像(例如,在稀疏编码的任务中
局部连接网络(Locally Connected Networks)
该问题的一种简单解决方案是限制隐含单元与输入单元的连接数目,也就是说,隐含单元只允许连接一部分的输入单元(译者注:即隐藏层的神经元与原图中的一个小图建立连接权重)。具体而言,每个隐藏单元将连接到输入像素中的一个小的连续区域。(对于不同于图像的数据形式,也有一种自然的方式来选择从输入单元到一个隐含单元需要处理的“连续组”,例如,对于音频,一个隐藏单元可能被连接到一个与之特定时间跨度对应的音频剪辑的输入单元上。)
局部连接网络的这一想法也借鉴了在生物学上早期视觉系统的观点。具体而言,视觉皮层的神经元有着局部感受区域(即,它们只会对某一位置的刺激做出反应)。
卷积(Convolutions)
自然世界中的图像有着“固定不变”的属性(译者注:或称为“静态性”),这也意味这图像的某一部分的数据和另一部分的数据是一样的。这表明,在一张图像上某部分的特征也可应用到该图片的其它部分,基于这一观点——网络可以使用不同的特征,应用到局部数据一样但不同的位置上。
更确切地说,从一张高分辨率图像上随机地抽样小图片(比方说
讲个具体的例子,假设您已经从
正式地说,给定分辨率大小为
下一节中,将进一步介绍如何将这些特征“池化”到一起,以获得用于分类的更好特征。
- 非监督特征学习与深度学习(九)----使用卷积进行特征提取
- 非监督特征学习与深度学习(十二)---- 卷积神经网络
- 非监督特征学习与深度学习(十)----池化
- 深度学习笔记---卷积特征提取与池化
- 非监督特征学习与深度学习(五)----Softmax 回归(Softmax Regression)
- 非监督特征学习与深度学习(一)----线性回归
- 非监督特征学习与深度学习(二)----逻辑回归
- 非监督特征学习与深度学习(三)----向量化
- 非监督特征学习与深度学习(四)----调试:梯度检查
- 非监督特征学习与深度学习(七)----多层神经网络
- 非监督特征学习与深度学习(八)----神经网络向量化
- 非监督特征学习与深度学习(十一)----优化方法:随机梯度下降
- 无监督特征学习
- ufldl 深度学习入门 第三发: 自我学习与无监督特征学习
- 关于深度学习的特征提取
- 深度学习提取图像特征之一
- 深度学习笔记7 Working with Large Images 卷积特征提取
- 基于深度学习的Person Re-ID(特征提取)
- BZOJ2464: 中山市选[2009]小明的游戏
- css清除浮动的八种方式你知道多少呢?
- WIN10系统下OSG+VS2017环境搭建
- JiLi Number
- 图像处理之中值滤波介绍及C实现
- 非监督特征学习与深度学习(九)----使用卷积进行特征提取
- 浅读《JavaScript 高级程序设计》第四章
- Chapter 4 神经网络
- How JavaScript works: inside the V8 engine + 5 tips on how to write optimized code
- 图像处理之均值滤波介绍及C算法实现
- js对于加载跟多滚动条的位置相关
- [bzoj3160][FFT][manacher]万径人踪灭
- 360提示证书风险问题
- 构造函数