学习python:决策树算法
来源:互联网 发布:mysql直接复制数据文件 编辑:程序博客网 时间:2024/05/23 16:55
决策树简单算法思想:
构造决策树,它主要是属性的选择,来选择将元组最好的划分成不同的类的属性。
关键:
在于分裂属性。所谓分列属性就是在某个节点处按照某一个特征属性的不同划分构造不同的分支,其目标是让各个分裂子集尽可能的“纯”。尽可能的纯意味着尽量让一个分裂子集中待分类项属于同一类别。
分列属性有三种不同情形:
1:属性离散,且不要求生成二叉决策树。此时属性的每一个划分作为一个分支。
2:属性离散,要求生成二叉决策树。此时,属于此子集,不属于此子集作为一个划分。
3:属性是连续的,此时确定一个值作为分类点。大于此值,作为一个分支;小于此值,作为一个分支。
属性选择度量:ID3,C4.5
说明:熵越大,表明信息越混乱。所以用信息增益时,选择,信息增益值越大,表明混乱程度减少越大,分类越纯,特征越有益于分类。
@机器学习实战from math import logdef createDataSet(): dataSet=[[1,1,'maybe'],[1,1,'yes'],[1,0,'no'],[0,1,'no'],[0,1,'no']] labels = ['no surfacing','flippes'] return dataSet,labels;def calcShannonEnt(dataSet): numEntries = len(dataSet) labelCounts ={}; for feat in dataSet: currentLabel= feat[-1] #取得标签 if currentLabel not in labelCounts: labelCounts[currentLabel]=0 labelCounts[currentLabel]+=1 #统计不同标签的样本的个数 shannonEnt =0.0; for key in labelCounts: prob = float(labelCounts[key])/numEntries shannonEnt -=prob*log(prob,2) return shannonEnt#axis是特征 value是特征取值#由 某一特征的不同取值分列样本集def splitDataSet(dataSet,axis,value): retDataSet=[] for featVec in dataSet: if( featVec[axis]==value): reducedFeatVec = featVec[:axis] reducedFeatVec.extend(featVec[axis+1:]) retDataSet.append(reducedFeatVec) return retDataSetdef chooseBestFeatureToSplit(dataSet): numFeatures = len(dataSet[0])-1 #计算所有的特征个数 baseEntropy = calcShannonEnt(dataSet) bestInfoGain =0.0 bestFeature = -1 for i in range(numFeatures): #遍历所有特征 featList = [example[i] for example in dataSet] #遍历所有样本的第i个特征的取值情况 uniqueVals = set(featList) #第i条特征的取值 去重 newEntropy=0.0 for value in uniqueVals: #遍历特征的所有取值 subDataSet = splitDataSet(dataSet,i,value) #对某一条样本 按照第i特征,取值为value的进行划分子集 prob = len(subDataSet)/float(len(dataSet)) newEntropy+=prob*calcShannonEnt(subDataSet)#计算某一条样本,按照第i特征划分后的信息增益 infoGain = baseEntropy-newEntropy if( infoGain>bestInfoGain): bestInfoGain=infoGain bestFeature=i return bestFeature##多数表决import operatordef majorityCnt(classList): classCount={} for vote in classList: if vote not in classCount: classCount[vote]=0 classCount[vote]+=1 sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]def createTree(dataSet,Labels): classList=[example[-1] for example in dataSet] #取得样本的所有类别 if classList.count(classList[0])==len(classList): #如果只有一种类别 return classList[0] #停止划分 if( len(dataSet[0]))==1: #如果样本只有一个属性 return majorityCnt( classList) #停止划分 bestFeat = chooseBestFeatureToSplit(dataSet) #选择最好的特征 print bestFeat bestFeatLabel = labels[bestFeat] #特征对应的标签 myTree={bestFeatLabel:{}} del(labels[bestFeat]) #去除已选特征 featValues =[example[bestFeat] for example in dataSet] #找到最好特征所对应的取值:比如说:是,否 uniqueVals = set(featValues) #取值去重 for value in uniqueVals: subLabels = labels[:] subDataSet = splitDataSet(dataSet,bestFeat,value)#由最好的特征属性,划分子数据集 myTree[bestFeatLabel][value] = createTree(subDataSet,subLabels) #子数据集递归调用 return myTree
参考文献
1:机器学习实战
2:之前记录的部分网上资源,如有侵权,联系我删除。
阅读全文
0 0
- 学习python:决策树算法
- Python机器学习(三)--决策树算法
- 机器学习算法之决策树(python)
- 机器学习|决策树算法与python实现
- Python机器学习算法——决策树
- 机器学习之决策树算法python实现
- Python机器学习(三)--决策树算法
- python决策树算法
- Python实现决策树算法
- 决策树算法--python实现
- 决策树算法 python实现
- 用Python开始机器学习(2:决策树分类算法)
- 【机器学习】决策树-ID3算法的Python实现
- 机器学习算法-决策树(续)Python实现
- 用Python开始机器学习(2:决策树分类算法)
- 用Python开始机器学习(2:决策树分类算法)
- 机器学习实战笔记(三):决策树算法的Python实现
- 机器学习算法的Python实现 (2):ID3决策树
- 习题3.4 最长连续递增子序列
- 1028 排序
- 织梦DedeCMS移动端手机端站点安装搭建使用教程
- m_devget函数
- Applied.Flow.Technology.Arrow.v6.0.1100 1CD(可压缩管道流体的分析和建模工具)
- 学习python:决策树算法
- JVM中的垃圾收集策略
- 实例
- java Queue 接口
- Android 内存泄漏场景分析
- PullToRefresh
- IE报vuex requires a Promise polyfill in this browser问题解决
- CCF 201612-1 中间数
- 【ES6】声明(declare)