autoencoder
来源:互联网 发布:跳跃网络 垃圾公司 编辑:程序博客网 时间:2024/06/06 09:16
简介
假设有一个没有带类别标签的训练样本集合
分类
- regularized autoencoder
- Denosing autoencoder
- Sparse Auto-Encoders
- Contractive Auto-Encoders
densoing autoencoder
There is a tight connection between the denoising auto-encoders and the contractive auto-encoders: the denoising reconstruction error is equivalent to a contractive penalty on the reconstruction function that maps.
The reconstruction function is encouraged to be insensitive to changes in all directions
Linear Factor Models
概率PCA,因素分析和其他线性因素模型是上述方程的特殊情形,并且只在先验的选择上有所区分。
sparse autoencoder
Contractive Auto_encoder
The Contractive Auto-Encoder or CAE (Rifai et al., 2011a,c) introduces an explicit regularizer on the code h = f (x), encouraging the derivatives of f to be as small as possible:
which is the squared Frobenius norm (sum of squared elements) of the Jacobian matrix of partial derivatives associated with the encoder function.
- The denoising auto-encoder learns to contract the reconstruction function (the composition of the encoder and decoder).
- The CAE learns to specifically contract the encoder.
自编码神经网络尝试学习一个
that hidden layer size controls both the dimensionality reduction constraint (the code size at the bottleneck) and the capacity (which allows to learn a more complex distribution).
Some constraints or regularization methods have been explored.
- Sparsity of the representation or of its derivative.
- Robustness to injected noise or missing information.
我们刚才的论述是基于隐藏神经元数量较小的假设。但是即使隐藏神经元的数量较大(可能比输入像素的个数还要多),我们仍然通过给自编码神经网络施加一些其他的限制条件来发现输入数据中的结构。具体来说,如果我们给隐藏神经元加入稀疏性限制,那么自编码神经网络即使在隐藏神经元数量较多的情况下仍然可以发现输入数据中一些有趣的结构。
稀疏性可以被简单地解释如下。如果当神经元的输出接近于1的时候我们认为它被激活,而输出接近于0的时候认为它被抑制,那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制。这里我们假设的神经元的激活函数是sigmoid函数。如果你使用tanh作为激活函数的话,当神经元输出为-1的时候,我们认为神经元是被抑制的。
注意到
进一步,让
表示隐藏神经元
其中,
为了实现这一限制,我们将会在我们的优化目标函数中加入一个额外的惩罚因子,而这一惩罚因子将惩罚那些
这里,
其中
KL-divergence is a measure of the difference between two probability distributions ”P” and ”Q”. It is not symmetric in ”P” and ”Q”. In applications, ”P” typically represents the “true” distribution of data, observations, or a precisely calculated theoretical distribution, while ”Q” typically represents a theory, model, description, or approximation of ”P”.
这一惩罚因子有如下性质,当
我们可以看出,相对熵在
现在,我们的总体代价函数可以表示为
其中
为了对相对熵进行导数计算,我们可以使用一个易于实现的技巧,这只需要在你的程序中稍作改动即可。具体来说,前面在后向传播算法中计算第二层(
现在我们将其换成
就可以了。
有一个需要注意的地方就是我们需要知道
证明上面算法能达到梯度下降效果的完整推导过程不再本教程的范围之内。不过如果你想要使用经过以上修改的后向传播来实现自编码神经网络,那么你就会对目标函数
- Autoencoder
- autoencoder
- autoencoder
- Autoencoder
- Autoencoder
- AutoEncoder
- autoencoder
- Autoencoder
- autoEncoder
- sparse-autoencoder
- Sparse Autoencoder
- Autoencoder review
- Adversarial Autoencoder
- Denoise Autoencoder
- Autoencoder 详解
- AutoEncoder详解
- Autoencoder ,Sparse Coding ,Sparse autoencoder 简介
- UFLDL练习(Sparse Autoencoder)
- (数据挖掘-入门-3)基于用户的协同过滤之k近邻
- gdiplus将一种图片格式转换成另外一个指定图片格式,且可设置图片大小
- 2743: [HEOI2012]采花
- Day1之OtherDemo
- 运行时的“VFY: unable to resolve static field”错误
- autoencoder
- Java多线程全面解析
- Oracle12c新特性之基本操作
- (数据挖掘-入门-4)基于物品的协同过滤
- 【初面实习】爱奇艺测试实习生面试总结
- Spring 3整合Quartz 2实现定时任务--转
- (数据挖掘-入门-5)基于内容的协同过滤与分类
- 【LEETCODE】20-Valid Parentheses
- 第十五周 项目1 插入排序