怎么判断特征选择的好坏

主要参考大神在知乎的回答：
作者：城东
链接：https://www.zhihu.com/question/28641663/answer/110165221
来源：知乎
著作权归作者所有。
http://www.cnblogs.com/jasonfreak/p/5448462.html

特征选择在机器学习中至关重要，我们通常认为：数据和特征决定了机器学习的上限，而模型和算法只是在逼近这个上限而已，由此可知，特征的选择的重要性，究竟用什么来作为特征，如何衡量我们选择的特征的好坏是相当重要的。
一般常用的特征评价的标准为：皮尔逊系数和互信息系数，皮尔逊系数只能衡量线性相关性而互信息系数能够很好的度量各种相关性，得到相关性之后可以排序来选择特征；RandomForest和Logistic Regression等都能对模型的特征来进行打分，通过打分获得相关性后再训练模型；通过深度学习来进行特征选择。详细来说，以短文本过滤来作为举例：
特征提取的目标：尽可能过滤无用信息的短文本，保留下来我们需要的短文本，那么从垃圾短文本的外部特征来说，此时我们最关注的是他们具有什么样的特性，最能区分二者的特性是哪些，那么这些特性的分布是什么样的？是否可用，是否获取有难度，是否需要进行降维，是否需要对特征来进行预处理，一般特征可能会有一下几个问题：
不属于同一量纲：即特征的规格不一样，不能够放在一起比较。无量纲化可以解决这一问题。
信息冗余：对于某些定量特征，其包含的有效信息为区间划分，例如学习成绩，假若只关心“及格”或不“及格”，那么需要将定量的考分，转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。
定性特征不能直接使用：某些机器学习算法和模型只能接受定量特征的输入，那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值，但是这种方式过于灵活，增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征：假设有N种定性值，则将这一个特征扩展为N种特征，当原始特征值为第i种定性值时，第i个扩展特征赋值为1，其他扩展特征赋值为0。哑编码的方式相比直接指定的方式，不用增加调参的工作，对于线性模型来说，使用哑编码后的特征可达到非线性的效果。
存在缺失值：缺失值需要补充。
信息利用率低：不同的机器学习算法和模型对数据中信息的利用是不同的，之前提到在线性模型中，使用对定性特征哑编码可以达到非线性的效果。类似地，对定量变量多项式化，或者进行其他的转换，都能达到非线性的效果。
采用sklearn.proprecessing库中的方法基本可以得到解决。
考虑比较容易的得到的特征，然后确定特征的好坏的问题，1，特征是否发散，若一个特征不发散的话，即方差接近于0的话，也就意味着样本在这个特征上基本上没有什么差别，这个特征对于样本的区分基本没有什么用；2，特征与目标的相关性，可以有三种选择特征的方法：
Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。
Wrapper：包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。
Embedded：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来确定特征的优劣。　　
我们使用sklearn中的feature_selection库来进行特征选择。