特征选择与提取

特征选择与提取：从一组数量为N的特征中选择出一组数量为M的最优特征。（N>M）

要解决的问题：

（1）选择一种可分性判据作为最优特征选择的标准；

（2）找到一个好的算法，来选择出这组最优特征；

特征选择技术方法：

（1）顺序前进法：

（2）顺序后退法；

（3）增l减r法（l-r法）

特征提取步骤：

（1）利用训练样本集合估计相关矩阵=E;

（2）计算的特征值，并由大到小排序,,以及相应的特征矢量；

（3）选择前M个特征矢量作一个变换矩阵T = [];

（4）在训练和识别时，每一个输入的N维特征矢量X可以转换为M维的新特征矢量Y = 。

     备注：这种方法时利用相关矩阵进行变换的，同样也可以利用协方差矩阵进行变换。还可以利用散度矩阵进行变换，过程都是一样的，需要计算特征值和特征向量，选择最大的M个特征值对应的特征矢量做出变换矩阵。