机器学习、深度学习的理论与实战入门建议整理(二)

机器学习、深度学习的理论与实战入门建议整理

http://blog.csdn.net/zyj098765/article/details/52860183

作者：muzhi

目录

引言

阶段一.机器学习入门

阶段二.深度学习入门

阶段三.实战入门

小结

阶段二.深度学习入门

　　
　　在对机器学习有了一定的掌握后，就可以开始在深度学习方面的学习了。刚开始要注意对神经网络的一些基本概念的掌握，如什么是感知机、什么是多层感知机（前馈神经网络）、BP算法的原理与推导等。个人觉得一个比较好的学习方式是，以视频教程为主理出一个清晰的思路，以经典书籍、博客文章、综述性论文为辅加深理解，同时，任何时候都不要忘了实践！

推荐的课程

1.UFLDL
http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial
http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B （中文版）
这个教程可以在看完或看了一部分Cousera上吴恩达的公开课后开始看，主要介绍了autoencode，BP，self-taught，PCA等一些实用的工具，最重要的是有课后编程，帮助你快速了解。建议看的时候重点看BP算法的推导及实现，softmax回归以及它与logistic回归的联系，以及卷积和池化部分的理解与实现。当然如果能把各个章节都踏踏实实地看过、实现过，那就最好不过了。

2.VGG Convolutional Neural Networks Practical
http://www.robots.ox.ac.uk/~vgg/practicals/cnn/
这是由牛津大学提出VGG网络那个团队弄的一个CNN实践的教程，用到了vlfeat这个包，需要安装visual studio。里面有网络的各种求导输出，可以加深对CNN的理解。

3.CS231n
http://cs231n.stanford.edu/
http://pan.baidu.com/s/1pL0FCPt（视频下载）
http://cs231n.stanford.edu/syllabus.html（补充材料）
http://cs231n.stanford.edu/project.html
http://cs231n.stanford.edu/reports2016.html
http://cs231n.stanford.edu/reports.html
（以上三个链接为他们的课程大作业，大家在准备自己的大作业时可以参考下这个链接）
深度学习课程，最推荐的课程，斯坦福教授李飞飞开的，内容广泛，如果能把这些都看完，深度学习入门就基本完成了。另外这门课程也是有一些练习的（基于caffe如果没记错的话），学习的时候最好把练习也做一下，这样更利于之后的项目实战

4.Neural networks for machine learning
https://www.coursera.org/learn/neural-networks/home/welcome
Hinton老爷子开的课，虽然内容可能有些老（2014年），但老爷子的课相信上过后会有很多收获的。

5.CS224d
http://pan.baidu.com/s/1i5v2oo1
这是深度学习应用于自然语言处理的一个公开课，适合感兴趣的同学自学

6.Self-Paced Courses for Deep Learning
https://developer.nvidia.com/deep-learning-courses
这是英伟达官网上的一个很简短的关于深度学习的课程，包括对深度学习的介绍以及各类编程库如caffe、theano等的入门教程，可根据兴趣选择观看

推荐的书籍

1.《Deep learning》.Yoshua Bengio, Ian Goodfellow, Aaron Courville
http://www.deeplearningbook.org/
这本是最推荐的，2016年刚出版的，涵盖面非常广且讲解很清楚，篇幅较大，适合慢慢消化。

2.《Learning deep architecture for AI》.Yoshua Bengio
这是Bengio在2009年出版的书了，虽然相当较老，但很经典

3.《Neural networks and deep learning》.Michael Nielsen
http://neuralnetworksanddeeplearning.com/index.html
这本写的也很好，但只有网页版，不过网页版有一个好处就是可以用更丰富生动的配图来配合讲解，看的时候最好可以结合作者本人写的代码例程：
https://github.com/mnielsen/neural-networks-and-deep-learning

4.《Deep learning tutorial》
http://deeplearning.net/tutorial/contents.html
这一本更像是一本入门实战手册，适合Step by Step地实践。

推荐的综述论文

1.《Deep learning》
http://www.nature.com/nature/journal/v521/n7553/abs/nature14539.html
三大马车Y. LeCun, Y. Bengio and G. Hinton于15年发在《nature》上的论文

2.《Deep learning in neural networks: An overview》
https://arxiv.org/pdf/1404.7828.pdf
RNN之父J.Schmidhuber的88页的长篇大作，15年发表，主要总结了前馈神经网络（FNN）及递归神经网络（RNN）在监督学习、无监督学习及增强学习方面的发展历程

3.《Representation learning: A review and new perspectives》
Bengio于13年发表的表征学习的综述，也是一篇经典

推荐的编程库

深度学习领域可用的编程库就太多了，下面这个链接是对几个编程库的一个评估：
https://github.com/zer0n/deepframeworks/blob/master/README.md
然后这个链接是一个全面的整理：
http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650719733&idx=1&sn=2fce6d18e8fcae9b805d4652a7c702e9&chksm=871b018bb06c889d339f34b192579f2e7f97e2f7b64cbe3ccd85ec7b3ed9022178ed5a150359&mpshare=1&scene=1&srcid=1012kXJJBql2N0AYNFppYlci#rd
实践中并不限定一定要用哪一个库，关键看哪个库能最高效地完成我们的需求

推荐的博客

1.Four steps for deep learning
https://medium.com/@vzkuma/4-steps-for-learning-deep-learning-86f11fcee54#.pgh7pz28s
学习深度学习的四个步骤，非常值得一看，但需要翻墙，下面的链接是中文版，但不知为何没翻译完整：
http://mp.weixin.qq.com/s?__biz=MzI0NTE4NjA0OQ==&mid=2658352176&idx=2&sn=f545269f6d02aca45458c954c577b109&chksm=f2d5f75ec5a27e48b7b07471d47772425ced49cea3f9423517b0ed462a7cf736c3dcf6918ed4&scene=25#wechat_redirect

2.How to Get a Job In Deep Learning
http://blog.deepgram.com/how-to-get-a-job-in-deep-learning/
http://www.zkreading.com/article/1065528.html （中文版）
首先对深度学习做了基本介绍，然后也列举了很多学习深度学习的很棒的资源，最后还给了一些关于如何找工作的建议，很有帮助

3.Awesome Deep Learning
https://github.com/ChristosChristofidis/awesome-deep-learning
这是一个对deep learning资源的整合，非常全面

4.Awesome - Most Cited Deep Learning Papers
https://github.com/terryum/awesome-deep-learning-papers
如题，深度学习领域的经典论文基本上都列举在内了，可根据兴趣选择阅读

5.Basic Neural Network Tutorial – Theory
https://takinginitiative.wordpress.com/2008/04/03/basic-neural-network-tutorial-theory/
对神经网络的理论做了一个简要的介绍

6.Hacker’s guide to Neural Networks
http://karpathy.github.io/neuralnets/
这一篇主要是从编程的视角来对神经网络进行介绍，适合“talk is cheap,show me the code”型同学观看，若觉得javascript看起来比较困难，可直接下载配套的python代码下来跟着看：
https://github.com/urwithajit9/HG_NeuralNetwork
值得一提的是，这篇博客的作者Andrej Karpathy也是李飞飞的高徒，目前已加入OpenAI，它写的其他博客文章也值得读一读

7.A Quick Introduction to Neural Networks
https://ujjwalkarn.me/2016/08/09/quick-intro-neural-networks/
同样是对神经网络的一个快速介绍

8.A Deep Learning Tutorial: From Perceptrons to Deep Networks
https://www.toptal.com/machine-learning/an-introduction-to-deep-learning-from-perceptrons-to-deep-networks
一份全面的深度学习导论

9.An Intuitive Explanation of Convolutional Neural Networks
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/?sukey=3997c0719f1515200d2e140bc98b52cf321a53cf53c1132d5f59b4d03a19be93fc8b652002524363d6845ec69041b98d
相信很多同学也看过这篇文章，像这样的文章其实时不时翻出来看看没准会有些新收获

10.Understanding Convolution in Deep Learning
http://timdettmers.com/2015/03/26/convolution-deep-learning/
对于深入理解深度学习中的卷积很有帮助

11.Conv Nets: A Modular Perspective
http://colah.github.io/posts/2014-07-Conv-Nets-Modular/
这篇是Google brain研究员Christopher Olah写的理解CNN系列的第一篇，他博客上的其他文章也可根据兴趣选择阅读
http://colah.github.io/

12.卷积神经网络的数学推导
http://tech.youmi.net/2016/07/163347168.html

13.Neural Network Architectures
http://linkis.com/github.io/kDnqR
这一份主要是对CNN架构演进的一个总结
http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650718943&idx=1&sn=258117d392ca1bfc37d6496992da5eae&scene=1&srcid=0905WFh5cW5OmWViVDAOL86Q#rd
上面链接的中文版

14.The 9 Deep Learning Papers You Need To Know About
https://adeshpande3.github.io/adeshpande3.github.io/The-9-Deep-Learning-Papers-You-Need-To-Know-About.html
同样列出了深度学习领域的几篇经典论文，作者对每篇论文的主要思想及贡献点对做了一定的总结，该篇博客是他写的“理解CNN”系列的第三篇，前两篇也可以看看
https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner’s-Guide-To-Understanding-Convolutional-Neural-Networks/ （part 1）
https://adeshpande3.github.io/adeshpande3.github.io/A-Beginner’s-Guide-To-Understanding-Convolutional-Neural-Networks-Part-2/ （part 2）

15.计算机视觉和 CNN 发展十一座里程碑
http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2651986617&idx=1&sn=fddebd0f2968d66b7f424d6a435c84af&scene=1&srcid=0831kzkroVudxNcCUpnRycIh#rd
上面链接的中文版

下续