机器学习笔记：ID3算法建立决策树(二)

在《机器学习笔记：ID3算法建立决策树(一)》中记录了ID3算法的计算公式和步骤，现在用例子记录一下ID3构建决策树的过程。
对以下数据进行分类：

- 是否能飞？ 是否有羽毛？ 是小鸟？ 1 是 是 是 2 是 是 是 3 是 否 否 4 否 是 否 5 是 否 是

是否能飞用0,1表示，0不能飞，1能飞；
是否有羽毛用0,1表示，0没有羽毛，1有羽毛；
也就是用是否能飞，是否有羽毛去判断一个东西是不是小鸟。
用矩阵表达如下：

def createDataSet():    dataSet = [[1,1,'是'],               [1,1,'是'],               [1,0,'否'],               [0,1,'否'],               [0,1,'否']]    labels = ['能飞的','有羽毛的']    return dataSet, labels

根据熵公式计算熵：

def calcShannonEnt(dataSet):    numEntries = len(dataSet)    labelCounts = {}    for featVec in dataSet:        #给每个分类(这里是[是,否])创建字典并统计各种分类出现的次数        currentLabel = featVec[-1]        if currentLabel not in labelCounts.keys():            labelCounts[currentLabel] = 0        labelCounts[currentLabel] += 1    shannonEnt = 0.0    for key in labelCounts:        prob = float(labelCounts[key])/numEntries        shannonEnt -= prob * math.log(prob,2)    return shannonEnt

对整个样本数据按类别划分子集：

def splitDataSet(dataSet,axis,value):    retDataSet = []    for featVec in dataSet:        if featVec[axis] == value:            #featVec 是一维数组，下标为axis元素之前的值加入到reducedFeatVec            reducedFeatVec = featVec[:axis]                #下一行的内容axis+1之后的元素加入到reducedFeatVec            reducedFeatVec.extend(featVec[axis+1:])               retDataSet.append(reducedFeatVec)    return retDataSet   

选择信息增益最大的维度(列，也可以理解为属性)作为决策树的根节点

def chooseBestFeatureToSplit(dataSet):    numFeatures = len(dataSet[0]) - 1               baseEntropy = calcShannonEnt(dataSet)            bestInfoGain = 0.0    bestFeature = -1    for i in range(numFeatures):        featList = [example[i] for example in dataSet]        uniqueVals = set(featList)  #值去重        newEntropy = 0.0        for value in uniqueVals:            #有多少个值就有多少个维度            subDataSet = splitDataSet(dataSet, i, value)               prob = len(subDataSet)/float(len(dataSet))             newEntropy += prob * calcShannonEnt(subDataSet)        infoGain = baseEntropy - newEntropy           if (infoGain > bestInfoGain):            bestInfoGain = infoGain            bestFeature = i    return bestFeature

统计每个维(列，或者理解为属性)下的各个值出现的次数，用字典存储：

def majorityCnt(classList):    classCount={}    for vote in classList:        if vote not in classCount.keys(): classCount[vote] = 0        classCount[vote] += 1        sortedClassCount = sorted(classCount.iteritems(),  key=operator.itemgetter(1), reverse=True)        return sortedClassCount[0][0]

创建树：

def createTree(dataSet,labels):    classList = [example[-1] for example in dataSet]    if classList.count(classList[0]) == len(classList):        return classList[0]   #当所有类型都相同时 返回这个类型    if len(dataSet[0]) == 1:  #当没有可以在分类的特征集时        return majorityCnt(classList)    bestFeat = chooseBestFeatureToSplit(dataSet)    bestFeatLabel = labels[bestFeat]    myTree = {bestFeatLabel:{}}    del(labels[bestFeat])    featValues = [example[bestFeat] for example in dataSet]    uniqueVals = set(featValues)    for value in uniqueVals:        subLabels = labels[:]        #对每个特征集递归调用建树方法        myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels)    return myTree

调用

myDat,labels = createDataSet()print(createTree(myDat, labels))

结果

{'能飞的': {0: '否', 1: {'有羽毛的': {0: '否', 1: '是'}}}}

接下来继续学习图形化显示决策树，更直观。

总结

计算各属性的信息增益，找出最大者为根节点
先验熵：样板数据中，先求出各种值出现的概率P(ui),再利用公式求熵
后验熵：对其他列，先求出各种值出现的概率P(vi),再求出先验列中各种值对本列取值为vi时的概率P(u|vi),再根据公式求熵H(U|vi),把u为各种值的情况下的H(U|vi) 算出来
条件熵：对后验熵在输出符号集V中求期望，接收到全部符号后对信源的不确定性，根据后验熵得到的P(vi)乘以H(U|vi)之和
信息增益：先验熵与条件熵的差，即先验熵中求得的P(ui)减去条件熵
拆分子集：对作为根节点的属性的数据根据不同的值分成子集。
对剩余属性重复上述步骤。

这是个人理解，如果有不到位的地方，或者有理解偏差，希望有人能指出扶正，交流学习。