CART算法实例解析

来源：互联网发布：cad排料软件编辑：程序博客网时间：2024/06/05 15:17

CART算法的原理，网上一抓一大把，在这里我就不过多赘述，现在我直接用一个实例进行讲解，CATR算法在分裂时是如何计算的
注：CART算法一般适用于二分类，构建二叉树
1、数据集D：
年龄有工作有自己的房子信贷情况类别
青年否否一般否
青年否否好否
青年是否好是
青年是是一般是
青年否否一般否
中年否否一般否
中年否否好否
中年是是好是
中年否是非常好是
中年否是非常好是
老年否是非常好是
老年否是好是
老年是否好是
老年是否非常好是
老年否否一般否
2、开始计算
第一步，分别设四个特征（年龄、有工作、有自己的房子、信贷情况）为 $A_{1}$ ， $A_{2}$ ， $A_{3}$ ， $A_{4}$ 。四个特征的取值分别为 $A_{1}$ （青年、中年、老年） $A_{2}$ （是、否）， $A_{3}$ （是、否）， $A_{4}$ （一般、好、非常好）
开始求取特征A1的基尼系数：

Gini(D, $A_{1}$ =青年) = $\frac{5}{15}\left ( 2*\frac{2}{5}*\left ( 1-\frac{2}{5} \right ) \right )+\frac{10}{15}*\left ( 2*\frac{7}{10}*\left ( 1-\frac{7}{10} \right ) \right ) = 0.44$

Gini(D, $A_{1}$ =中年) = $\frac{5}{15}\left ( 2*\frac{3}{5}*\left ( 1-\frac{3}{5} \right ) \right )+\frac{10}{15}*\left ( 2*\frac{6}{10}*\left ( 1-\frac{6}{10} \right ) \right ) = 0.48$

Gini(D, $A_{1}$ =老年) = $\frac{5}{15}\left ( 2*\frac{4}{5}*\left ( 1-\frac{4}{5} \right ) \right )+\frac{10}{15}*\left ( 2*\frac{5}{10}*\left ( 1-\frac{5}{10} \right ) \right ) = 0.44$
同理可得：
Gini(D, $A_{2}$ =是) = 0.32
Gini(D, $A_{3}$ =是) = 0.27
特征A4的基尼系数：
Gini(D, $A_{4}$ =1) = 0.36
Gini(D, $A_{4}$ =2) = 0.47
Gini(D, $A_{4}$ =3) = 0.32
在 $A_{1}$ ， $A_{2}$ ， $A_{3}$ ， $A_{4}$ 四个特征中，Gini(D, $A_{3}$ =是) = 0.27最小，所以选择 $A_{3}$ 为最优特征， $A_{3}$ =是为最优且分点。此时根节点生成两个子节点，一个是叶子节点，另外一个是含有 $A_{1}$ ， $A_{2}$ ， $A_{4}$ 三个特征，对这个节点使用上述方法，得到 $A_{2}$ =是为最优特征和最优切分点。按照上述步骤进行计算，所有节点都是叶子结点

阅读全文

1 0