【UFLDL】PCA+白化

白化
白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。
白化的目的是使得数据的协方差矩阵变为单位矩阵，同时，对数据进行旋转变换并不会改变单位矩阵的值，因此可以对白化后的数据进行旋转，得到的数据协方差仍为单位阵。这就引出了两种数据处理的方法：

1、PCA+白化：降维+协方差矩阵归一化去除数据信息中的冗余；2、ZCA+白化：协方差矩阵归一化，同时不改变原始数据的维度，最大限度保留原始数据特性。

PCA
PCA的本质是为了消除原始数据之间的相关性，使原始数据在降维之后的维度后无关，或者说是减少了数据之间的相互依存的关系。
对于自然图像使用PCA不需要方差归一只需要均值归一，对于其他的非自然图像（比如，手写文字，或者白背景正中摆放单独物体），其他规整化操作就值得考虑了，而哪种做法最合适也取决于具体应用场合。
注意：均值归一的对象是数据向量的某一个元素，均值取得是该维度元素的均值，对于图像数据，我们根据像素点的位置，对数据集中的图片在同一像素位置的元素值取均值，而不是对某一图片取均值。
首先我们要明确一点，对特征向量进行无损的坐标变换并不会改变数据集总体的方差大小，因为方差相当于是数据集中的向量到数据中心的距离的平方的均值，坐标变换并不会改变距离的大小。PCA相当于将特征进行投影，在不同的维度上产生的方差与特征向量的大小正相关？线性。方差的总体的值是不变的，我们希望选择的特征维度能够尽可能保留数据中的原有的方差，因此按照特征值从大到小选择对应的向量作为投影方向。一般选择特征值占99%的压缩比例来决定选择降低后的维度大小。

为使PCA算法能有效工作，通常我们希望所有的特征 \textstyle x_1, x_2, \ldots, x_n 都有相似的取值范围（并且均值接近于0）。如果你曾在其它应用中使用过PCA算法，你可能知道有必要单独对每个特征做预处理，即通过估算每个特征 \textstyle x_j 的均值和方差，而后将其取值范围规整化为零均值和单位方差。但是，对于大部分图像类型，我们却不需要进行这样的预处理。假定我们将在自然图像上训练算法，此时特征 \textstyle x_j 代表的是像素 \textstyle j 的值。所谓“自然图像”，不严格的说，是指人或动物在他们一生中所见的那种图像。注：通常我们选取含草木等内容的户外场景图片，然后从中随机截取小图像块（如16x16像素）来训练算法。在实践中我们发现，大多数特征学习算法对训练图片的确切类型并不敏感，所以大多数用普通照相机拍摄的图片，只要不是特别的模糊或带有非常奇怪的人工痕迹，都可以使用。在自然图像上进行训练时，对每一个像素单独估计均值和方差意义不大，因为（理论上）图像任一部分的统计性质都应该和其它部分相同，图像的这种特性被称作平稳性（stationarity）。具体而言，为使PCA算法正常工作，我们通常需要满足以下要求：(1)特征的均值大致为0；(2)不同特征的方差值彼此相似。对于自然图片，即使不进行方差归一化操作，条件(2)也自然满足，故而我们不再进行任何方差归一化操作（对音频数据,如声谱,或文本数据,如词袋向量，我们通常也不进行方差归一化）。实际上，PCA算法对输入数据具有缩放不变性，无论输入数据的值被如何放大（或缩小），返回的特征向量都不改变。更正式的说：如果将每个特征向量 \textstyle x 都乘以某个正数（即所有特征量被放大或缩小相同的倍数），PCA的输出特征向量都将不会发生变化。

ZCA白化
类似于PCA，寻找方差最大的投影方向，不做降维->坐标变换->白化->反变换->被白化且接近原始数据

正则化
在ZCA白化过程中，除以特征值的平方根，为防止特征值过小导致数据溢出，为特征值加上一个小的常数作为正则化项。