机器学习：文本挖掘之特征选择

题目：下列哪个不属于常用的文本分类的特征选择算法？

卡方检验值

互信息

信息增益

主成分分析（不属于）

----------------------------------------------------------------------------------------------------------------

文本挖掘之特征选择

机器学习算法的空间、时间复杂度依赖于输入数据的规模。

维度规约(Dimensionality reduction)则是一种被用于降低输入数据维数的方法。分为两类：

特征选择(feature selection)：从原始的d维空间中，选择为我们提供信息最多的k个维(这k个维属于原始空间的子集)——保留原空间信息

特征提取(feature extraction)：将原始的d维空间映射到k维空间中(新的k维空间不输入原始空间的子集)——构造新空间

文本挖掘与文本分类的有关问题中，常采用特征选择方法。常见的四种特征选择方法：

1）DF(Document Frequency) 文档频率

DF:统计特征词出现的文档数量，用来衡量某个特征词的重要性，DF的定义如下：

2）MI(Mutual Information) 互信息法

互信息法用于衡量特征词与文档类别直接的信息量。

如果某个特征词的频率很低，那么互信息得分就会很大，因此互信息法倾向"低频"的特征词。

相对的词频很高的词，得分就会变低，如果这词携带了很高的信息量，互信息法就会变得低效。

互信息法的定义如下：

继续推导MI的定义公式：

3）IG(Information Gain) 信息增益法

通过某个特征词的缺失与存在的两种情况下，语料中前后信息的增加，衡量某个特征词的重要性。

4）CHI(Chi-square) 卡方检验法

利用了统计学中的"假设检验"的基本思想：首先假设特征词与类别直接是不相关的

如果利用CHI分布计算出的检验值偏离阈值越大，那么更有信心否定原假设，接受原假设的备则假设：特征词与类别有着很高的关联度。

5）WLLR(Weighted Log Likelihood Ration)加权对数似然

6）WFO（Weighted Frequency and Odds）加权频率和可能性

好的特征应该有较高的文档频率

好的特征应该有较高的文档类别比例