关于稀疏自编码-------“搞基”总结
来源:互联网 发布:菲波那切数列python 编辑:程序博客网 时间:2024/06/06 01:35
上个月研究了一下稀疏自编码相关知识,主要是做一个小小培训用。查阅了很多资料,看的大多数是原理性的,本人还没涉及到代码层面。文章大致分为两类:
1、在代价函数后加一个KL距离(相对熵)项,实现稀疏性。
2、在代价函数后加一个L1范数,实现稀疏性。
方法1理解较简单,吴恩达及其他作者衍生出的一些文章有较详细描述,最后是在稀疏自编码网络中利用BP学习算法,得到一组基及网络参数。
方法2需要求解一个字典和稀疏矩阵,其实和方法1得到的东西是一样的,只是求解过程会用到OMP(正交匹配追踪算法)等算法(不一定用这种算法)。
我还不理解的地方主要是:这两种方法是否有内在联系,为什么分为这两种。
之前有问了一位交大在读妹子,她也是没有深入了解,但还是整理了一篇,见她博文(http://blog.csdn.net/sun7_she/article/details/52300438),对此表示感谢。
下面是粗略整理的博文:
一、关于KL距离作为稀疏限制:
1、http://blog.csdn.net/whiteinblue/article/details/20639629
2、http://blog.csdn.net/llp1992/article/details/45579615
3、http://www.cnblogs.com/cj695/p/4498699.html
4、http://blog.csdn.net/pi9nc/article/details/27711441
5、https://www.52ml.net/8531.html
6、http://blog.csdn.net/ycheng_sjtu/article/details/38454305
二、关于L1范数作为稀疏限制:
1、http://blog.csdn.net/zouxy09/article/details/8777094/
2、http://www.cnblogs.com/tornadomeet/archive/2013/04/13/3018393.html
3、http://blog.sina.com.cn/s/blog_837f83580102v7bm.html
4、http://www.cnblogs.com/aixueshuqian/p/3936892.html
三、关于范数稀疏性解释
1、http://blog.csdn.net/zouxy09/article/details/24971995
2、http://www.cnblogs.com/aixueshuqian/p/3939101.html
3、http://www.cnblogs.com/tenosdoit/p/3708996.html
4、http://www.cnblogs.com/AndyJee/p/5048235.html
5、http://blog.csdn.net/yhdzw/article/details/39186753
6、http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/ 原浙大硕,后MIT,他的生活帖子读来轻松却令人憧憬,大学时代的情怀吧。
四、其他是一些稀疏自编码、数学或代码层面解析
1、https://www.zhihu.com/question/38121173
2、http://www.cnblogs.com/happylion/p/4209570.html
3、http://www.cnblogs.com/happylion/p/4270013.html
4、http://www.cnblogs.com/AndyJee/p/5047174.html
5、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612
6、http://blog.csdn.net/kevin_bobolkevin/article/details/50590612
7、http://blog.csdn.net/abcjennifer/article/details/7804962 原浙大硕,现百度,美女学霸,值得学习。
谢谢以上原创或非原创博客提供的知识共享,其中各种穿插,相信读者能在其中找到脉络。
- 关于稀疏自编码-------“搞基”总结
- 稀疏自编码器及其实现——如何搞基
- 稀疏自编码
- 稀疏自编码
- 稀疏自编码
- 稀疏自编码
- 稀疏自编码
- 稀疏自编码
- 稀疏编码自编码表达
- 【UFLDL】稀疏自编码网络
- 自编码算法与稀疏性
- 自编码算法与稀疏性
- 自编码算法与稀疏性
- 深度学习(十二)稀疏自编码
- 自编码算法与稀疏性
- UFLDL练习-稀疏自编码实现
- 【机器学习】tensorflow: 稀疏自编码
- 自编码算法与稀疏性
- 104. Maximum Depth of Binary Tree
- Go语言开发IM与推送业务
- GENERATED_BODY vs GENERATED_UCLASS_BODY
- Unity3D项目程序加密1——在Unity3D里使用自己的dll
- JS 基础教程3
- 关于稀疏自编码-------“搞基”总结
- Cookie
- this指针基础介绍
- Android自定义相机(三) —— 录像
- JAVA-反射-getGenericSuperclass()介绍
- JS 基础教程4
- SSE快速将像素uchar转换成float0~1
- Unity3D项目程序加密2——对dll进行混淆
- JS 基础教程5