RICA

文章来源：ICA  with  Reconstruction  Cost  for Efficient Overcomplete Feature  Learning

              http://cs.stanford.edu/~jngiam/papers/LeKarpenkoNgiamNg2011

1、标准的ICA被定义为如下的优化问题：

    

g是一个非线性的凸函数（保证只有一个最优解），W是权重矩阵，Wj是矩阵的一行（一个特征）。正交限制保证这基函数W不是退化的。

正交限制有一些缺点：

  1）不能学习到过完备集

  2）不能用快速的优化方法（像L-BFGS,CG等），只能用投影梯度下降算法。

  3）对数据白化敏感。

2、鉴于此，我们把正交限制用软重构成本函数代替，即RICA算法。

   RICA被定义为如下的无限制的优化问题。

              

第一项是重构误差项，它对应一个线性自编码的重构成本，且编码权重和解码权重是相同的，互为转置矩阵。

RICA的优点：

      1）可以用快速的优化方法。

     2）可以学习到过过完备基。

    3）即使数据 不白化，也能学习到很好的特征。

前两个特点是因为RICA解除了硬正交限制，第三个特点是因为：

   我们假设数据x没有被白化：

                 

Cx是数据的协方差矩阵，E是Cx的特征向量矩阵，D是对角矩阵，对角线上的值是Cx的特征值。

所以，重构函数相当于对权重的一个线性回归，对它用特征向量矩阵进行旋转，用特征值进行尺度变换。D^(-1/2)E^T是PCA的白化矩阵，所以优化过程W中要学习到一个白化矩阵，以抵消ED^(1/2).

3、ICA和RICA的联系

                  

如果学习的是不完备基，且我们设定r接近正无穷时，则RICA等同于ICA