机器学习决策树：sklearn分类和回归

上面的蓝字关注我们！

作者：alg-flody

编辑：Emily

1 逻辑回归和决策树分类比较

昨天的推送机器学习：对决策树剪枝，分析了决策树需要剪枝，今天再就这个话题，借助 sklearn 进一步分析决策树分类和回归时过拟合发生后，该如何解决的问题。

上周推送的机器学习：谈谈决策树，介绍了利用逻辑回归算法，二分类一个拥有2个特征的数据集，模拟的结果如下所示：

从结果中可以看出，逻辑回归的分类效果是不错的，那么我们尝试用决策树分类这个数据集，看看效果是怎么样的。

通过上图分类的结果，黄色点为0类，相应的它们所在的区域为淡黄色区域，蓝色点为1类，相应的区域为右下区域。得到上图的代码：

def decisionTreeBoundary(data,n_classes=2,plot_colors = "yb",plot_step = 0.02):

    #特征的列index

    pairidx,pair = [1,2],[1,2]

    X = data[:,[1,2]]

    y = data[:,3]

    # Train

    #构造的无参数构造函数

    clf = tree.DecisionTreeClassifier()

    clf.fit(X, y)

    # 绘制决策边界

    x_min, x_max = X[:, 0].min(), X[:, 0].max()

    y_min, y_max = X[:, 1].min(), X[:, 1].max()

    xx, yy = np.meshgrid(np.arange(x_min, x_max, plot_step),

                         np.arange(y_min, y_max, plot_step))

    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])

    Z = Z.reshape(xx.shape)

    cs = plt.contourf(xx, yy, Z, cmap=plt.cm.BrBG)

    # 绘制训练点

    for i, color in zip(range(n_classes), plot_colors):

        idx = np.where(y == i)

        clabel=np.array(i,dtype=np.str)

        plt.scatter(X[idx, 0], X[idx, 1], c=color,label = clabel,

                   cmap=plt.cm.RdYlBu, edgecolor='black', s=15)

    plt.legend(loc='lower right', borderpad=0, handletextpad=0)

    plt.axis("tight")

    plt.xlabel("w1")

    plt.ylabel("w2")

    plt.title("using decision tree to binary classification")

    plt.show()

比较决策树和逻辑回归得到的决策边界：

• 逻辑回归得到的决策边界更直接简洁，相应的泛化能力更好些。

• 决策树得到的边界弯弯曲曲，好像被切了很多刀，泛化能力没有逻辑回归好。

  
  

可视化下决策树，

可以看到，决策树的枝枝叶叶有点茂盛，做一下剪枝操作。因此，让我们看下对未经剪枝的决策树，进行剪枝操作后，得到的决策边界是不是会好些，设置每个分裂点的最小样本数不能小于10，clf = tree.DecisionTreeClassifier(max_depth=3)

得到的分类边界切分了5刀，过拟合减轻了一些，在训练集上可以看到有些蓝点被错误地分类了，中间部位区域划分的不够合理。

同时可以可视化出对应的决策树深度为3层，共切分了6段。

由以上论述在样本数较少的情况下，可以看到逻辑分类的效果更满意一些，泛化能力可能更好些，决策树很容易过拟合，并且想要减轻过拟合时，准确率上又难以保证。

2 决策树做回归

我们首先生成一些需要模拟的数据，可以看到大部分的点（一维，只有一个特征）都位于一条曲线附件，但是有10个噪音点，偏离比较大。

生成这部分点的代码如下所示：

import numpy as np

from sklearn.tree import DecisionTreeRegressor

import matplotlib.pyplot as plt

    # Create a random dataset

rng = np.random.RandomState(100)

X = np.sort(rng.rand(100, 1), axis=0)

y = np.cos(X).ravel()

y[::10] += (0.5 - rng.rand(10))

 # Plot the results

plt.scatter(X, y, s=20, edgecolor="black",

            c="darkorange", label="data")

plt.scatter(X,y)

plt.show()

下面看下直接调用sklearn的API之决策树回归，得到的结果是怎样的。

首先不设置树的最大深度，这样决策树在做回归的时候会考虑所有的样本点，而发生过拟合，如下图所示，噪音点也被纳入到了回归曲线上，这是不好的，考虑对决策树进行剪枝，降低过拟合风险。

取树的最大深度等于5，看下模拟结果，部分降低了过拟合，但是还是考虑了某些噪音点，考虑继续减小树的深度，

取树的最大深度等于2时的模拟结果，可以看到所有噪音点都被排除在外，不再过拟合。

因此在做决策树回归时，和分类一样，也要考虑过拟合的问题，如果发生过拟合，一般通过调整决策树的超参数来降低过拟合。上面模拟用到的代码如下：

# Import the necessary modules and libraries

def dtr(maxdepth=2):

    import numpy as np

    from sklearn.tree import DecisionTreeRegressor

    import matplotlib.pyplot as plt

    # Create a random dataset

    rng = np.random.RandomState(100)

    X = np.sort(rng.rand(100, 1), axis=0)

    y = np.cos(X).ravel()

    y[::10] += (0.5 - rng.rand(10))

    # Fit regression model

    regr = DecisionTreeRegressor(max_depth=5)

    regr.fit(X, y)

    # Predict

    X_test = np.arange(0.0, 1.0, 0.01)[:, np.newaxis]

    y_predict = regr.predict(X_test)

    # Plot the results

    plt.scatter(X, y, s=20, edgecolor="black",

                c="darkorange", label="data")

    plt.plot(X_test, y_predict, color="blue", linewidth=2)

    plt.xlabel("data")

    plt.ylabel("target")

    plt.title("decision tree regression")

    plt.show()

3 总结

以上分析可以看出，决策树不仅可以做分类，还可以做回归。但是不管做分类还是回归，决策树都要考虑的问题是可能的过拟合发生，如果一旦出现，要考虑通过树的常见的超参数来降低，通常这些超参数包括：

1. criterion gini or entropy，选择哪个特征作为分裂点的判断公式。

2. splitter best or random：选择spitter best的话，是说从所有特征中找最好的切分点， random在数据量大的时候，特征多的时候，在部分特征中找最好的切分点。

3. max_features or None ：max_features < 50是一般选择None，即使用所有的特征。

4. max_depth: 树的最大深度

5. min_samples_split：如果节点的样本数小于min_samples_split，则不再对这个节点分裂，这个值是在样本数很大时才用的。

6. min_samples_leaf：叶子节点的样本少于min_samples_leaf，则它和它的兄弟都会被裁剪。

7. max_leaf_nodes：决策树最大的叶子节点数，如果叶子节点大于max_leaf_nodes，则可能发生过拟合了，考虑调小这个值。

8. min_weight_fraction_leaf：这个值限制了叶子节点所有样本权重和的最小值，则会和兄弟节点一起被裁剪。

9. class_weight：调整某个类别的权重，主要考虑到某个类别的样本数所占比例大，导致偏向它，用户可以配置使这个类别权重小一些。

通过调整这些超参数，会得到最优化的结果。

决策树用于分类的优点如上文所述，我们可以解释它，比如在某个特征取值小于多少的时候，它一分为二了哪两个类，这些我们可以通过graphviz模块可视化地观察到，而不像复杂的神经元网络那样，只能得到参数，而无法解释每个参数为什么取这个值。

好了，这三天笔记了决策树的一些基本理论：特征选取方法，如何防止过拟合的发生，以及sklearn中的API直接调用模拟了决策树的分类和回归。

接下来，是否准备自己手动编写一个决策树分类器和回归器，进一步加深对决策树CART算法的理解。

谢谢您的阅读！

交流思想，注重分析，看重过程，包含但不限于：经典算法，机器学习，深度学习，LeetCode 题解，Kaggle 实战，英语沙龙，定期邀请专家发推。期待您的到来！