信息增益(比)的算法

算法：

输入：训练数据集 D 和特征 A ;
输出：特征 A 对训练数据集 D 的信息增益 g(D,A) 。
(1) 计算数据集 D 的经验熵 H(D)

H(D)=−∑k=1K|Ck||D|log2|Ck||D|

(2) 计算特征 A 对数据集 D 的经验条件熵 H(D|A)

H(D|A)=∑i=1n|Di||D|H(Di)=−∑i=1n|Di||D|∑k=1K|Dik||Di|log2|Dik||Di|

(3) 计算信息增益

g(D,A)=H(D)−H(D|A)

(4) 计算信息增益比

gR(D,A)=g(D,A)HA(D)

其中，HA(D)=−∑ni=1|Di||D|log2|Di||D|，n是特征 A 取值的个数。