[deep learning] 最近看过的部分论文
来源：互联网 发布：数据库如何使用boolean 编辑：程序博客网 时间：2024/05/16 19:23
托deep learning的福，这个自学之余的简单总结一直是我豆瓣上浏览和推荐数最多的日志，在这里感谢大家的肯定。然而，deep learning是一个高速发展的领域，自那时起已经更新了许多（错误的）认识，以下内容某种意义上早已过时了。
很遗憾，我脱离deep learning的学习和研究已经整整两年了，所以对它最新的发展只是略知皮毛。有志于学习和应用deep learning的豆友，不妨参考最近两年的ICML和NIPS会议的相关论文，以及一个以deep learning为中心的新的国际会议International Conference on Learning Representations (ICLR)；入门材料不妨参考这些会议上有关deep learning的tutorial video/slides，或者近年Machine Learning Summer School的相关内容。
希望以上信息对你有所帮助，祝学习顺利 :-)
======================================================
A Fast Learning Algorithm for Deep Belief Nets (2006)
- 首次提出layerwise greedy pretraining的方法，开创deep learning方向。layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成Deep Belief Network (DBN)，其中训练最高层的RBM时加入了label。之后对整个DBN进行fine-tuning。在MNIST数据集上测试没有严重过拟合，得到了比Neural Network (NN)更低的test error。
Reducing the Dimensionality of Data with Neural Networks (2006)
- 提出deep autoencoder，作为数据降维方法发在Science上。Autoencoder是一类通过最小化函数集对训练集数据的重构误差，自适应地编解码训练数据的算法。Deep autoencoder模型用Contrastive Divergence (CD)算法逐层训练重构输入数据的RBM，堆叠在一起fine-tuning最小化重构误差。作为非线性降维方法在图像和文本降维实验中明显优于传统方法。
Learning Deep Architectures for AI (2009)
- Bengio关于deep learning的tutorial，从研究背景到RBM和CD再到数种deep learning算法都有详细介绍。还有丰富的reference。于是也有个缺点就是太长了。
A Practical Guide to Training Restricted Boltzmann Machines (2010)
- 如果想要自己实现deep learning算法，这篇是不得不看的。我曾经试过自己写但是效果很不好，后来看到它才知道算法实现中还有很多重要的细节。对照网上的代码看也能更好地理解代码。
Greedy Layer-Wise Training of Deep Networks (2007)
- 对DBN的一些扩展，比如应用于实值输入等。根据实验提出了对deep learning的performance的一种解释。
Why Does Unsupervised Pre-training Help Deep Learning? (2010)
- 总结了对deep learning的pretraining作用的两种解释：regularization和help optimization。设计实验验证两种因素的作用。
Autoencoders, Unsupervised Learning, and Deep Architectures (2011)
- 从理论角度对不同的Autoencoders作了统一分析的尝试。
On the Quantitative Analysis of Deep Belief Networks (2008)
- 用annealed importance sampling (AIS)给出一种估计RBM的partition function的方法，从而能够估算p(x)以及比较不同的DBN。
Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient (2008)
- 提出用persistent contrastive divergence (PCD)算法逼近maximum likelihood estimation的目标，从而可以得到更好的generative model。传统CD算法并不是以最大化p(x)为目标的，另有paper证明CD算法不对应任何优化目标函数。
很遗憾，我脱离deep learning的学习和研究已经整整两年了，所以对它最新的发展只是略知皮毛。有志于学习和应用deep learning的豆友，不妨参考最近两年的ICML和NIPS会议的相关论文，以及一个以deep learning为中心的新的国际会议International Conference on Learning Representations (ICLR)；入门材料不妨参考这些会议上有关deep learning的tutorial video/slides，或者近年Machine Learning Summer School的相关内容。
希望以上信息对你有所帮助，祝学习顺利 :-)
======================================================
A Fast Learning Algorithm for Deep Belief Nets (2006)
- 首次提出layerwise greedy pretraining的方法，开创deep learning方向。layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起来构成Deep Belief Network (DBN)，其中训练最高层的RBM时加入了label。之后对整个DBN进行fine-tuning。在MNIST数据集上测试没有严重过拟合，得到了比Neural Network (NN)更低的test error。
Reducing the Dimensionality of Data with Neural Networks (2006)
- 提出deep autoencoder，作为数据降维方法发在Science上。Autoencoder是一类通过最小化函数集对训练集数据的重构误差，自适应地编解码训练数据的算法。Deep autoencoder模型用Contrastive Divergence (CD)算法逐层训练重构输入数据的RBM，堆叠在一起fine-tuning最小化重构误差。作为非线性降维方法在图像和文本降维实验中明显优于传统方法。
Learning Deep Architectures for AI (2009)
- Bengio关于deep learning的tutorial，从研究背景到RBM和CD再到数种deep learning算法都有详细介绍。还有丰富的reference。于是也有个缺点就是太长了。
A Practical Guide to Training Restricted Boltzmann Machines (2010)
- 如果想要自己实现deep learning算法，这篇是不得不看的。我曾经试过自己写但是效果很不好，后来看到它才知道算法实现中还有很多重要的细节。对照网上的代码看也能更好地理解代码。
Greedy Layer-Wise Training of Deep Networks (2007)
- 对DBN的一些扩展，比如应用于实值输入等。根据实验提出了对deep learning的performance的一种解释。
Why Does Unsupervised Pre-training Help Deep Learning? (2010)
- 总结了对deep learning的pretraining作用的两种解释：regularization和help optimization。设计实验验证两种因素的作用。
Autoencoders, Unsupervised Learning, and Deep Architectures (2011)
- 从理论角度对不同的Autoencoders作了统一分析的尝试。
On the Quantitative Analysis of Deep Belief Networks (2008)
- 用annealed importance sampling (AIS)给出一种估计RBM的partition function的方法，从而能够估算p(x)以及比较不同的DBN。
Training Restricted Boltzmann Machines using Approximations to the Likelihood Gradient (2008)
- 提出用persistent contrastive divergence (PCD)算法逼近maximum likelihood estimation的目标，从而可以得到更好的generative model。传统CD算法并不是以最大化p(x)为目标的，另有paper证明CD算法不对应任何优化目标函数。
0 0
- 最近看过的部分Deep Learning论文
- [deep learning] 最近看过的部分论文
- [deep learning] 部分论文
- 【那些年我们一起看过的论文】之《Deep Residual Learning for Image Recognition》
- 之前看过的一些deep-learning的文章
- Deep Learning论文选读
- 已经看过的论文
- Deep Residual Learning 论文解析
- Deep Learning重要论文整理
- 最近看过的书
- 最近看过的书
- 最近看过的电影
- Machine Learning & Deep Learning 论文阅读笔记
- Deep Learning部分函数用法
- Deep learning 译文 -- 第二部分
- 最近看过的书单(1)
- 最近看过的书单(3)
- 最近看过的书单(4)
- 祥总教我的快速跳转到文件另一方法
- 父类引用指向子类对象
- 神经网络基础
- Eclipse运行带参数的java程序
- JavaScript jQuery (1) 入门
- [deep learning] 最近看过的部分论文
- 游戏服务器开发需要学习的技术
- HeapAlloc，GlobalAlloc，LocalAlloc，VirtualAlloc，malloc，new的异同
- java编写微信公众账号收发消息
- 只遍历一次，将单链表中的元素顺序反转过来
- javascript之jquery基础 选择器
- 深度学习（一）深度学习学习资料
- Visual Studio 相关错误
- PythonChallenge4-7题详解Python版
以上主要是Geoffery Hinton和Joshua Bengio他们枫叶国这一支用RBM组成deep architecture的研究。另一支是以Yann LeCun为代表的(deep) convolutional networks，用convolutional network组成deep architecture的研究，也包括Andrew Ng的组。我目前对这一支了解还不太多。不过似乎对于computer vision的问题，convolutional networks 更加biological plausible，同时也有更强的模型先验，所以效果一般更好一些。