决策树

决策树算法

决策树简介

决策树 流程图正方形代表判断模块，椭圆形代表终止模块，从判断模块引出的左右箭头称作分支，它可以到达另一个判断模块活着终止模块。
决策树 [优点]:计算复杂度不高，输出结果易于理解，对于中间值的缺失不敏感，可以处理不相关特征数据。
决策树[缺点]:可能会产生过度匹配的问题。
决策树[适用数据类型]：数值型和标称型。

---

---

决策树的一般流程

(1)收集数据：可以使用任何方法。(2)准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化。(3)分析数据：可以使用任何方法，构造树完成之后，我们需要检验图形是否符合预期。(4)训练算法：构造树的数据结构。(5)测试算法：使用经验树计算错误率。(6)使用算法：使用于任何监督学习算法。

信息增益

划分数据集的最大原则:将无序的数据集变的有序。
判断数据集的有序程度:信息增益（熵），计算每个特征值划分数据集后获得的信息增益，获得信息增益最高的特征就是最好的选择。
信息增益[公式]:

H=−∑i=1np(xi)log2p(xi)

其中n是分类的数目。

python决策树

计算给定数据集的信息熵

from math import logdef calcShannonEnt(dataSet):    numEntries = len(dataSet)    labelCounts = {}    for featVec in dataSet:        currentLabel = featVec[-1]        if currentLabel not in labelCounts.keys():            labelCounts[currentLabel] = 0            labelCounts[currentLabel] += 1    shannonEnt = 0.0    for key in labelCounts:        prob = float(labelCounts[key]) / numEntries        shannonEnt -= prob * log(prob,2)    return shannonEntdef createDataSet():    dataSet = [[1,1,'yes'],        [1,1,'yes'],        [1,0,'no'],        [0,1,'no'],        [0,1,'no'],]    labels = ['no surfacing','flippers']    return dataSet,labelsmyDat,labels = createDataSet()print(myDat)print(labels)shannonEnt = calcShannonEnt(myDat)print(shannonEnt)

划分数据集

import dtreedef splitDataset(dataSet,axis,value):    retDataSet = []    for featVec in dataSet:        if featVec[axis] == value:            reducedFeatVec = featVec[:axis]            reducedFeatVec.extend(featVec[axis+1:])            retDataSet.append(reducedFeatVec)    return retDataSetmyData,labels = dtree.createDataSet()print(myData)retDataSet = splitDataset(myData,0,1)print(retDataSet)retDataSet = splitDataset(myData,0,0)print(retDataSet)

选择最好的数据划分方式

def chooseBestFeatureToSplit(dataSet):    numFeatures = len(dataSet[0]) - 1    baseEntropy = dtree.calcShannonEnt(dataSet)    bestInfoGain = 0.0    bestFeature = -1    for i in range(numFeatures):        featList = [example[i] for example in dataSet]        uniqueVals = set(featList)        newEntropy = 0.0        for value in uniqueVals:            subDataSet = splitDataset(dataSet,i,value)            prob = len(subDataSet)/float(len(dataSet))            newEntropy += prob * dtree.calcShannonEnt(subDataSet)        infoGain = baseEntropy - newEntropy        if(infoGain > bestInfoGain):            bestInfoGain = infoGain            bestFeature = i        return bestFeaturemyData,labels = dtree.createDataSet()print('myData:',myData)bestFeature = chooseBestFeatureToSplit(myData)print('bestFeature:',bestFeature)

结果输出

('myData:', [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']])('bestFeature:', 0)

结果分析

运行结果表明第0个特征是最好用于划分数据集的特征，即数据集的的第一个参数，比如在该数据集中以第一个参数特征划分数据时，第一个分组中有3个，其中有一个被划分为no，第二个分组中全部属于no;当以第二个参数分组时，第一个分组中2个为yes,2个为no,第二个分类中只有一个no类。

递归构建决策树

工作原理：得到原始数据集，然后基于最好的属性值划分数据集，由于特征值可能多于2个，因此可能存在大于2个分支的数据集划分，在第一次划分后，数据将被传向树分支的下一个节点，在这个节点上我们可以再次划分数据。
递归条件：程序遍历完所有划分数据集的属性，或者没个分支下的所有实例都具有相同的分类。

构建递归决策树

import dtreeimport operatordef majorityCnt(classList):    classCount = {}    for vote in classList:        if vote not in classCount.keys():            classCount[vote] = 0        classCount[vote] +=1    sortedClassCount = sorted(classCount.iteritems(),key =  operator.itemgetter(1),reverse = True)    return sortedClassCount[0][0]def createTree(dataSet,labels):    classList = [example[-1] for example in dataSet]    if classList.count(classList[0]) == len(classList):        return classList[0]    if len(dataSet[0]) == 1:        return majorityCnt(classlist)    bestFeat = chooseBestFeatureToSplit(dataSet)    bestFeatLabel = labels[bestFeat]    myTree = {bestFeatLabel:{}}    del(labels[bestFeat])    featValues = [example[bestFeat] for example in dataSet]    uniqueVals = set(featValues)    for value in uniqueVals:        subLabels = labels[:]        myTree[bestFeatLabel][value] = createTree(splitDataset(dataSet,bestFeat,value),subLabels)    return myTreemyData,labels = dtree.createDataSet()print('myData:',myData)myTree = createTree(myData,labels)print('myTree:',myTree)

结果输出

('myData:', [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']])('myTree:', {'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}})

结果分析

myTree 包含了树结构信息的前套字典，第一个关键字no surfacing是第一个划分数据集的特征名称，值为另一个数据字典，第二个关键字是no surfacing特征划分的数据集，是no surfacing的字节点，如果值是类标签，那么该节点为叶子节点，如果值是另一个数据字典，那么该节点是个判断节点，如此递归。

测试算法:使用决策树执行分类

使用决策树的分类函数

import treeplotterimport dtreedef classify(inputTree,featLabels,testVec):    firstStr = inputTree.keys()[0]    secondDict = inputTree[firstStr]    featIndex = featLabels.index(firstStr)    for key in secondDict.keys():        if testVec[featIndex] == key:            if type(secondDict[key]).__name__=='dict':                classLabel = classify(secondDict[key],featLabels,testVec)            else:                classLabel = secondDict[key]    return classLabelmyDat,labels = dtree.createDataSet()print(labels)myTree = myTree = treeplotter.retrieveTree(0)print(myTree)print('classify(myTree,labels,[1,0]):',classify(myTree,labels,[1,0]))print('classify(myTree,labels,[1,1]):',classify(myTree,labels,[1,1]))

结果输出

['no surfacing', 'flippers']{'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}, 3: 'maybe'}}('classify(myTree,labels,[1,0]):', 'no')('classify(myTree,labels,[1,1]):', 'yes')

存储决策树

由于决策树的构造十分耗时，所以用创建好的决策树解决分类问题可以极大的提高效率。因此需要使用python模块pickle序列化对象，序列化对象可以在磁盘上保存对象，并在需要的地方读取出来，任何对象都可以执行序列化操作。

#使用pickle模块存储决策树import pickledef storeTree(inputTree,filename):    fw = open(filename,'w')    pickle.dump(inputTree,fw)    fw.close()def grabTree(filename):    fr = open(filename)    return pickle.load(fr)

决策树算法小结

决策树分类器就像带有终止块的流程图，终止块表示分类结果。首先我们需要测量集合数据中的熵即不一致性，然后寻求最优方案划分数据集，直到数据集中的所有数据属于同一分类。决策树的构造算法有很多版本，本文中用到的是ID3 ，最流行的是C4.5和CART。