深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
来源:互联网 发布:js身份证号码格式 编辑:程序博客网 时间:2024/05/29 19:59
近日,闲来得空,又不停的听到Deep learning (DL)相关的突破~
故来研究下Deep learning的相关东西~
在Deep learning 的学习资源中找到,关于Deep belief network的相关资源
http://www.cs.toronto.edu/~hinton/MatlabForSciencePaper.html
这个资源的下载并运行,有一个需要注意的地方,就是数据文件:
要使用gunzip train-images-idx3-ubyte.gz 进行解压~
若使用winzip解压后,会损坏相关数据文件~
导致matlab code 中fopen文件 有错误~
本code涉及到的paper是2006 Science上的Hinton这篇:“reducing the dimensionality of data with neural networks”
这篇paper来做什么的?(摘要)
通过一个小的中间层来重构高维输入向量,训练一个多层神经网络,最终使得高维数据可以转化为低维信号~
原有神经网络(Neural network, NN)求解权重时,存在的问题:利用梯度下降来求解权重~ 但是严重依赖于初始化权重的好坏~
这篇paper描述一种有效地方法,来初始化权重,利用深度自解码网络(Deep autoencoder networks)来学习低维信号~
这种降维方法,比PCA(principal compenent analysis)效果要好的多~
降维有助于分类、可视化、交流和高维信号的存储~
一个简单常用的方法就是PCA,,找到数据集中最大方差方向.....
这篇paper描述一种非线性的PCA 的推广,利用一个自适应的、多层的编码网络,达到降维的目的。类似地,解码网络来重建数据~
在这两种网络中,随机初始化权重,通过最小化原始数据及其重建数据之间的差异,进行训练。
利用链规则来反馈错误,首先通过解码网络(Decoder),然后通过编码网络(Encoder),可以获得梯度。
多层RBM(Restricted Boltzmann machine)
像素对应着可见单元(v)~
特征描述子对应着隐单元h~
因为所有节点单元均为二进制的~ 所以采用以下的激发函数来实现
可见层概率:
权重更新:
疑问:这是如何把样本间建立联系呢?
- 深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
- 深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
- 深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
- Hinton Science06 Reducing the dimensionality of data with neural networks
- Reducing the Dimensionality of Data with Neural Networks
- Reducing the Dimensionality of Data with Neural Networks
- Reducing the Dimensionality of Data with Neural Networks
- Deep Learning读书笔记(一):Reducing the Dimensionality of Data with Neural Networks
- Reducing the Dimensionality of Data with Neural Networks:神经网络用于降维
- Reducing the Dimensionality of Data with Neural Networks:神经网络用于降维
- 浅读——reducing the dimensionality of data with neural networks(一)
- [深度学习论文笔记][Weight Initialization] Data-dependent Initializations of Convolutional Neural Networks
- AlphaGo论文的译文,用深度神经网络和树搜索征服围棋:Mastering the game of Go with deep neural networks and tree search
- Compressing Neural Networks with the Hashing Trick
- The Unreasonable Effectiveness of Recurrent Neural Networks
- The Unreasonable Effectiveness of Recurrent Neural Networks
- The Unreasonable Effectiveness of Recurrent Neural Networks
- The Unreasonable Effectiveness of Recurrent Neural Networks
- 深复制和浅复制
- 【计算机视觉】OpenCV之GPU与OpenCL的相关内容说明
- 字符进行数值运算
- 2016-2017 CT S03E06: Codeforces Trainings Season 3 Episode 6 The Baguette Master
- 二叉树的链式实现
- 深度学习:Hinton_Science_Reducing the dimensionality of data with neural networks
- Cpp Concurrency In Action(读书笔记2)——线程间共享数据
- JS控制退格键删除内容
- JQuery中事件是否发生的判断
- 数位DP
- Linux如何安装jdk
- j2ee中的forward和redirect的区别
- 嘉盛外汇产品——中英文对照
- Akka 实践(二)- java开发demo1