深度学习基础(十)—— 稀疏编码(二)
来源:互联网 发布:斐讯k2端口转发 编辑:程序博客网 时间:2024/04/28 08:30
在实际编程时,为了写出准确无误的优化函数代码并能快速又恰到好处地收敛到最优值,可以采用下面的技巧:
- (1)将输入样本集分成多个小的mini-batches,这样做的好处是每次迭代时输入系统的样本数变少了,运行的时间也会变短很多,并且也提高了整体收敛速度。
(2)S(Feature Matrix)的初始化值不能随机给。一般都是按照下面的方法进行:
featMatrix = weightMatrix'*miniBatch;normWM = sum(weightMatrix.^2)';featMatrix = featMatrix ./ repmat(normWM, [1, size(featMatrix, 2)]);
最后,在实际优化该代价函数时步骤大致如下:
(1)随机初始化A
(2)重复以下步骤直至收敛
随机选取一个有小的mini-batches。
按照前面讲的方法来S 。
根据上一步给定的A ,求解能够最小化J(A,S) 的S
根据上一步得到的S ,求解能够最小化J(A,S) 的A
拓扑结构时的代价函数
关于
此时可得
关于
0 0
- 深度学习基础(十)—— 稀疏编码(二)
- 深度学习基础(九)—— 稀疏编码(sparse coding)
- 深度学习基础(十一)—— 稀疏自编码器(二)
- 深度学习笔记:稀疏自编码器(3)——稀疏自编码算法
- 深度学习基础(八)—— 稀疏自编码器
- 深度学习(十二)稀疏自编码
- 稀疏编码(二)
- 深度学习(1)——sae(稀疏自动编码机)
- 深度学习系列(四):什么是稀疏编码
- HEVC学习(二十) —— 熵编码之一
- 深度学习(二)Sparse Filtering稀疏滤波
- 深度学习模型---稀疏编码
- 深度学习基础(三)(稀疏)自编码器
- 深度学习笔记:稀疏自编码器(4)——稀疏自编码器代码练习
- 稀疏编码(Sparse Coding)(二)
- 资源—稀疏编码(sparse coding)
- 深度学习笔记(四)---自编码算法与稀疏性
- 深度学习之五:稀疏编码
- 165 php Fatal error: Uncaught SmartyException: unable to write file
- JAX-WS创建和JavaAPI发送和处理SOAP消息实例
- GitHub是什么样的网站 (分享```)
- 静态成员应用 -时间
- OkHttp之Interceptors
- 深度学习基础(十)—— 稀疏编码(二)
- HIBERNATE的缓存机制
- [leetcode] 289. Game of Life 解题报告
- 18个最热深度学习Github项目逐一介绍
- View的构造函数
- MFC控件重绘
- 有趣的HTML5:离线存储
- oracle监听问题解决办法
- C#面向对象继承1和字符串