Deeplearning toolbox 中如何实现sparse/stack/denoise autoencoder （转载）

转载来源：http://blog.sina.com.cn/s/blog_4a1853330102vupf.html

先放一张autoencoder的基本结构：

基本意思就是一个隐藏层的神经网络，输入输出都是x，属于无监督学习

==========================================================================================

基本代码

saesetup.m

 

[cpp] view plaincopy

1. function sae = saesetup(size)  
2.     for u = 2 : numel(size)  
3.         sae.ae{u-1} = nnsetup([size(u-1) size(u) size(u-1)]);  
4.     end  
5. end  

saetrain.m

 

 

[cpp] view plaincopy

1. function sae = saetrain(sae, x, opts)  
2.     for i = 1 : numel(sae.ae);  
3.         disp(['Training AE ' num2str(i) '/' num2str(numel(sae.ae))]);  
4.         sae.ae{i} = nntrain(sae.ae{i}, x, x, opts);  
5.         t = nnff(sae.ae{i}, x, x);  
6.         x = t.a{2};  
7.         %remove bias term  
8.         x = x(:,2:end);  
9.     end  
10. end  

其实就是每一层一个autoencoder，隐藏层的值作为下一层的输入

  sparse autoencoder：

   

   这就是ufldl讲的版本，toolbox中的代码和ufldl中练习的部分基本一致：

   在nnff.m中使用：nn.p{i} = 0.99 * nn.p{i} + 0.01 * mean(nn.a{i}, 1);计算

   在nnbp.m中使用

     pi = repmat(nn.p{i}, size(nn.a{i}, 1), 1); 

     sparsityError = [zeros(size(nn.a{i},1),1) nn.nonSparsityPenalty * (-nn.sparsityTarget ./ pi + (1 - nn.sparsityTarget) ./ (1 - pi))];

 

   计算sparsityError即可

 denoising autoencoder：

   denoising其实就是在autoencoder的基础上，给输入的x加入噪声，就相当于dropout用在输入层

   toolbox中的也实现非常简单：

   在nntrain.m中：

      batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction)

   也就是随即把大小为(nn.inputZeroMaskedFraction)的一部分x赋成0，denoising autoencoder的表现好像比sparse autoencoder要强一些

Contractive Auto-Encoders：

   这个变形呢是《Contractive auto-encoders: Explicit invariance during feature extraction》提出的

   这篇论文里也总结了一下autoencoder，感觉很不错

    Contractive autoencoders的模型是：

     

    其中：

       hj是表示hidden layer的函数，用它对x求导

    论文里说：这个项是

         encourages the mapping to the feature space to be contractive in the neighborhood of the training data

     具体的实现呢是：

        

     代码呢参看：论文作者提供的：https://github.com/srifai/cae.py/blob/master/cae/cae.py

      主要是

jacobian(self，x):

_jacobi_loss():

_fit_reconstruction():

这几个函数和autoencoder有出入，其实也比较简单，就不细讲了

总结：

总的来说，autoencoder感觉是DL中比较好理解的一部分，所以介绍内容不长
可能你也发现了，Toolbox里还有一个文件夹叫CAE，不过这个CAE是Convolutional
Auto-Encoders

参考http://www.idsia.ch/~ciresan/data/icann2011.pdf，以后有时间再学习一下~