一些Deep Network代码的整理
来源:互联网 发布:如何练好英语知乎 编辑:程序博客网 时间:2024/06/06 23:16
这里指的Deep Network包括: Convolutional Sparse Coding, Deep RBM, TCNN,Sparse Autoencoder等等。
这方面的基本知识可以参照
1. http://deeplearning.net/tutorial/
最近一直在研究这方面东西,积累了一些代码,放上来留档并分享。
主要代码在deeplearning.net上都有,但由于那个网站两年没更新了,而Deep Learning这块又是最近比较火的一块,代码新陈代谢相当快,因此在这边分享几个最近找到的不错的代码 (主要是matlab的):
1. DeconvNet Toolbox:
http://www.matthewzeiler.com/software/
相当全的一个toolbox,里面基本包含了convolutional sparse coding从算法层面到gui层面所有功能 (但结构也有点复杂)。由于是作者一个人开发的,所以还有些bug。花了近两个月时间把它搞通了,收获颇丰。
2. TCNN
http://ai.stanford.edu/~quocle/TCNNweb/index.html
最近刚刚尝试,相比DeconvNet写得比较简洁易懂。但是原来代码里面给的数据似乎没法跑。所幸同作者还有一些代码用到了TCNN,比如action recognition,可以一起下载下来参考。这个代码主要特色就是tiled结构,可以用来参考,然后把里面ICA的优化函数换成RICA,Sparse Coding等等。总之,在这个代码里也了解了不少(比如line search等)。
现在调下来感觉sparse coding比ICA鲁棒很多的,至少对于sparsity penalty不那么敏感。而且Sparse Coding比较bio-plausible, 这个日后会写点东西分析一下的。
3. lush
http://lush.sourceforge.net/
Lecun组的镇山之宝,里面包含了不少代码,用的是自己发明的编程语言lush,但本人没调成功 (linux下安装成功,但调试路径方面不知道怎么设置)。。。而且由于有了之前两个的框架,Lecun paper里面的idea可以轻松implement,所以也就没有花太多时间在上面了。
4. pylearn
http://www.iro.umontreal.ca/~lisa/twiki/bin/view.cgi/Public/PublicCode
Python写的,貌似是加拿大那两个组(Bengio and Hinton)的成员主力开发的。里面包括许多deep learning方面的东西 (各种RBM)。
文档见 http://deeplearning.net/software/pylearn2/index.html, 写得很简洁,主要是一个google group, 要不懂可以到上面去问问题。但由于个人对matlab黏性太大,暂时没有转到Python的打算,所以只是把代码放在这里供参考。
补:
另外两个年代久远但还是比较基础的算法:
sparse coding:
http://redwood.berkeley.edu/bruno/sparsenet/
ICA:
http://www.cs.helsinki.fi/u/phoyer/software.html
- 一些Deep Network代码的整理
- 一些Deep Network代码的整理
- 【Python+Tensorflow】Deep Q Network (DQN) 迷宫示例代码整理
- Deep Belief Network(DBN)的实现(c++)
- 整理了一些初学者常用的代码
- 自己整理的一些网页代码
- iOS 一些整理过的常用代码
- 一些自我整理的js代码
- 【面向代码】学习 Deep Learning(一)Neural Network
- 【面向代码】学习 Deep Learning(一)Neural Network .
- 【面向代码】学习 Deep Learning(一)Neural Network
- 【面向代码】学习 Deep Learning(一)Neural Network
- 【面向代码】学习 Deep Learning(一)Neural Network
- 【面向代码】学习 Deep Learning(一)Neural Network
- 【面向代码】学习 Deep Learning(一)Neural Network
- 【面向代码】学习 Deep Learning Convolution Neural Network(CNN)
- 【面向代码】学习 Deep Learning(一)Neural Network
- 【面向代码】学习 Deep Learning(一)Neural Network
- PHP中session_register函数详解【转】
- java double类型数据保留小数点四舍五入功能
- 从今天起就要陆续坚持写博客.记录自己在android上的努力.
- 自适应网页设计的方法(手机端良好的访问体验)
- Sublime Text 2 自动开启换行 Word Wrap
- 一些Deep Network代码的整理
- Repeater+AspNetPager+存储过程实现分页
- Windows Mobile Web方式下载文件
- Java集合框架问题总结
- Fiddler 学习(五)
- Json Jsonp
- SQL Server中的汇总功能
- JVM工具使用 JMAP,JHAT
- 用xshell5连接vmware10+centos6.7时报Could not connect to '192.168.54.100' (port 22): Connection failed的解法