关于DBN fine-tunes使用BP多于up-down算法的一点看法
来源:互联网 发布:数据库营销是什么 编辑:程序博客网 时间:2024/05/16 18:59
首先用Hinton先生的三句话作为引子,个人觉得这三句话在为什么首先使用pre-train会使最终效果特别好的解释中有点提纲挈领的意思。
– The input vectors generally contain a lot more information than the labels.
– The precious information in the labels is only used for the final fine-tuning.
– The fine-tuning only modifies the features slightly to get the category boundaries right. It does not need to discover features.
好吧,其实写这篇博客的原因就是为了记一下上面三句话。关于为啥不使用UP-DOWN算法,我觉得是你作为一个生成模型,当然可以使用UP-DOWN,这个算法本意就是用来训练生成模型的。但是为什么现在的大多数toolbox都是将网络pre train之后使用BP算法去微调呢,个人觉得生成模型最终用起来也是要作判别的。所以还不如直接使用判别模型去做分类,当模型被当成判别模型的时候使用BP算法。而且Hinton先生也分别使用过这两种算法做了对比,分别是在deep learning开篇的那篇论文中和他发在science上的那篇论文。一个使用了UP-DOWN,一个使用了BP。事实上,使用判别模型的分类效果更好,而UP-DOWN略差。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
个人理解,可能是漏洞百出或者根本就是错的。如果理解上有不对的地方,烦请指正。邮箱:heqingblind@sina.com
- 关于DBN fine-tunes使用BP多于up-down算法的一点看法
- 关于端口协议Up down的一点理解
- 关于存储过程的使用一点看法
- 关于linb的一点看法
- 关于跳槽的一点看法
- 关于新技术的一点看法
- 一点关于Ares的看法
- 关于Velocity的一点看法
- 关于积累的一点看法
- 关于积累的一点看法
- 关于中国教育的一点看法
- 关于MFC的一点看法
- 关于技术交流的一点看法
- 关于积累的一点看法
- 关于积累的一点看法
- 关于积累的一点看法
- 关于学习的一点看法
- 关于MVC的一点看法
- 两篇文章相似度:TF-IDF与余弦相似性的应用
- 关于3G/4G的的那些事
- 【天猫浏览型应用的CDN静态化架构演变】
- Android制作曲线、柱状图、饼形等图表——使用AChartEngine
- JNI 使用多线程回调java 方法
- 关于DBN fine-tunes使用BP多于up-down算法的一点看法
- 创建ApiDemo示例
- Android 内存溢出解决方案(OOM) 整理总结
- 项目测试管理杂谈
- 组播解惑
- infinispan配置
- 八大排序算法之二希尔排序(C语言)
- 提升ListView的运行效率
- Oracle db 11.2.0.4 linux 6.3下编译bbed