特征变换以及维度下降——前言

【原文：http://blog.csdn.net/jojozhangju/article/details/19570759】

1.维度灾难

我们最初的设想是增加特征的维度从不会降低识别器的性能，因为我们提供了足够多或者至少是相同的大量信息。因此，最坏的情况是性能保持不变。但是，实际上并非如此，性能将会出现下降，尽管我们提供给了系统足够的数据。这是因为能够呈现给模型的训练数据是有限的。理论上我们通常的设想是训练数据是无限的并且模型能够在所有环境下被很好的训练。事实上是不可能的，如果我们选择了复杂的模型，它的所有参数不太可能被很好的估计。另一方面，如果模型过于简单，这将使得系统不能满足人们复杂的需求。

所以我们需要在训练数据集本身的误差和它们所代表的广义化之间做一个权衡。我们举一个植物学的例子：任务是正确的将树的物种分类，对于过于拟合的模型所对应的识别器而言，出现一个新树就被表述于一种新物种，仅仅是因为叶子数量的不同。对于欠拟合的识别器，任何绿色的都会被定义为树。显然，这两种情况都不适合模式识别。

以上两种情况说明了找到一个既不过分拟合又不欠拟合的模型是至关重要的。值得注意的是那些寻找最优特征的统计方法要求事先要决定维度。理论上很难找到最优的维度。事实上最好的方法是对于已经存在的特征实验并且比较维度。

2.特征简化

特征简化是使用统计方法来减少特征的维度，并且在简化后的特征空间中最大化的保留信息。通常数学上的表达可以表示为一个线性变换：

（1）

y表示特征简化后的特征空间（p维）x表示原始的特征空间（n维）。转换矩阵是一个的矩阵。所有特征简化的技术的目标都是根据一些优化标准找到最优的转换矩阵。其中，两种最优的特征简化技术为Linear Discriminant Analysis（LDA）以及Principal Component Analysis（PCA）。之后我们就开始详细的介绍一下LDA和PCA的算法以及相关的应用。