《机器学习技法》学习笔记13——深度学习
来源:互联网 发布:php微信分销开源系统 编辑:程序博客网 时间:2024/06/05 00:51
http://blog.csdn.net/u011239443/article/details/76692801
深度神经网络
自动编码器
我们可以使用自动编码器来做pre-training:
自动编码器模型如下:
自动编码器本质是想训练得到一层能让隐藏层节点表达出输入的权重,即可以看作
噪音编码自动编码器
噪音编码自动编码器其实就是希望当数据中有噪音的时候,自动编码器依旧能将输入正确的表达出来:
主要分析
线性自动编码器模型:
损失函数:
我们对上式进行线性变换:
最优化问题就变成了:
我们先固定V,变化 Γ来求的最小值。这么一来两项左边的V都可以提取来先不看,问题变成:
那么就可知,I − Γ尽可能的多0向量行结果,就会越小。而l Γ的rank ≤ ˜ d,所以 Γ取值为:
进一步的问题变成了:
对于矩阵V中的每一行的最优化问题有:
我们对上式使用拉格朗日乘子法:
对上式关于v求导,取极值得:
把
阅读全文
0 0
- 《机器学习技法》学习笔记13——深度学习
- 学习笔记---机器学习技法
- 《机器学习技法》学习笔记01——线性SVM
- 《机器学习技法》学习笔记02——对偶SVM
- 《机器学习技法》学习笔记03——核SVM
- 《机器学习技法》学习笔记12——神经网络
- 《机器学习技法》学习笔记15——矩阵分解
- 《机器学习技法》学习笔记11——GBDT
- coursera机器学习技法笔记(12)——Neural Network
- coursera机器学习技法笔记(15)——Matrix Factorization
- 台大机器学习技法学习笔记
- 机器学习技法课程学习笔记13-- Deep Learning
- 机器学习技法
- coursera机器学习技法笔记(13-14)——deep learning & RBFNetwork
- 机器学习技法(林軒田)笔记之一
- 机器学习技法(林軒田)笔记之一
- 机器学习技法笔记--- Linear SVM
- 台湾大学机器学习技法笔记整理
- vim配置文件,让编程更随意
- POJ1542 Ultra-QuickSort
- 简单的背包问题
- Maven学习 (一) 搭建Maven环境
- springmvc 的静态资源配置
- 《机器学习技法》学习笔记13——深度学习
- 二叉树 STL 图 哈希 详解
- Editor does not contain a main type
- JS事件处理程序的几种方法
- HDU5512 Pagodas(GCD+水题)
- UVa11582 [快速幂]Colossal Fibonacci Numbers!
- php &
- Shell常见命令实践
- CodeForces