Python scikit-learn机器学习:feature_selection模块

sklearn.feature_selection模块的作用是feature selection，关键在于选择合适的变量达到降维的目的，而feature extraction模块则是从数据集中利用某类算法抽取具有代表性的特征，例如tf-idf使用。

Univariate feature selection：单变量的特征选择

单变量特征选择的原理是分别单独的计算每个变量的某个统计指标，根据该指标来判断哪些指标重要。剔除那些不重要的指标。

sklearn.feature_selection模块中主要有以下几个方法：
SelectKBest和SelectPercentile比较相似，前者选择排名排在前n个的变量，后者选择排名排在前n%的变量。而他们通过什么指标来给变量排名呢？这需要二外的指定。
对于regression问题，可以使用f_regression指标。对于classification问题，可以使用chi2或者f_classif变量，此外选择算法内部会根据因变量y的存在与否自主选择有监督或无监督的学习方式。
使用的例子：
from sklearn.feature_selection import SelectPercentile, f_classif
selector = SelectPercentile(f_classif, percentile=10)

还有其他的几个方法，似乎是使用其他的统计指标来选择变量：using common univariate statistical tests for each feature: false positive rate SelectFpr, false discovery rate SelectFdr, or family wise error SelectFwe.

文档中说，如果是使用稀疏矩阵，只有chi2指标可用，其他的都必须转变成dense matrix。但是我实际使用中发现f_classif也是可以使用稀疏矩阵的。