深度学习基础系列 (二) 用 sklearn 实现 ID3 算法

什么是决策树/判定树（decision tree)

判定树是一个类似于流程图的树结构：其中，每个内部结点表示在一属性上的测试，

每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的顶层是根结点。

熵（entropy）概念

1948年，香农提出了 ”信息熵(entropy)“的概念

一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常非常不确定

的事情，或者是我们一无所知的事情，需要了解大量信息==>信息量的度量就等于不确

定性的多少

例子：猜世界杯冠军，假如一无所知，猜多少次？
每个队夺冠的几率不是相等的

比特(bit)来衡量信息的多少，变量的不确定性越大，熵也就越大

决策树归纳算法 （ID3）

选择属性判断结点

信息获取量(Information Gain)：Gain(A) = Info(D) - Infor_A(D)

通过A来作为节点分类获取了多少信息

类似，Gain(income) = 0.029, Gain(student) = 0.151, Gain(credit_rating)=0.048

所以，选择age作为第一个根节点

重复上述步骤

决策树的优点：

直观，便于理解，小规模数据集有效

决策树的缺点：

处理连续变量不好

类别较多时，错误增加的比较快

可操作规模性一般

用 sklearn 实现

from sklearn.feature_extraction import DictVectorizerimport csvfrom sklearn import treefrom sklearn import preprocessing# Read in the csv file and put features into list of dict and list of class labelallElectronicsData = open(r'/Users/xiaolian/Documents/deeplearning_code/01DTree/AllElectronics.csv', 'r')reader = csv.reader(allElectronicsData)headers = next(reader)print(headers)featureList = []labelList = []for row in reader:    labelList.append(row[len(row)-1])    rowDict = {}    for i in range(1, len(row)-1):        rowDict[headers[i]] = row[i]    featureList.append(rowDict)print(featureList)# Vetorize featuresvec = DictVectorizer()dummyX = vec.fit_transform(featureList) .toarray()print("dummyX: " + str(dummyX))print(vec.get_feature_names())print("labelList: " + str(labelList))# vectorize class labelslb = preprocessing.LabelBinarizer()dummyY = lb.fit_transform(labelList)print("dummyY: " + str(dummyY))# Using decision tree for classification# clf = tree.DecisionTreeClassifier()clf = tree.DecisionTreeClassifier(criterion='entropy')clf = clf.fit(dummyX, dummyY)print("clf: " + str(clf)) # Visualize modelwith open("allElectronicInformationGainOri.dot", 'w') as f:    f = tree.export_graphviz(clf, feature_names=vec.get_feature_names(), out_file=f)# predict a new rowoneRowX = dummyX[0, :]print("oneRowX: " + str(oneRowX))newRowX = oneRowXnewRowX[0] = 1newRowX[2] = 0print("newRowX: " + str(newRowX))predictedY = clf.predict(newRowX)print("predictedY: " + str(predictedY))

用 graphviz 打开 dot 文件