Udacity机器学习入门笔记——决策树(Decision Tree)
来源:互联网 发布:收藏品数据公司 编辑:程序博客网 时间:2024/06/05 13:27
决策树原理:
使用计算机算法根据数据自动找出决策边界
参考下图:
决策树的python代码(sklearn)
链接:http://scikit-learn.org/stable/modules/tree.html
>>> from sklearn import tree>>> X = [[0, 0], [1, 1]]>>> Y = [0, 1]>>> clf = tree.DecisionTreeClassifier()>>> clf = clf.fit(X, Y)
决策树可以调的参数:sklearn.tree.DecisionTreeClassifier
链接:
http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html#sklearn.tree.DecisionTreeClassifier
DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)
练习:写出当最小分割为50和2时的准确性
from sklearn.datasets import load_irisfrom sklearn.tree import DecisionTreeClassifierfrom sklearn.metrics import accuracy_scoreclf_50=DecisionTreeClassifier(min_samples_split=50)clf_50.fit(features_train,labels_train)pre50=clf_50.predict(features_test)acc_min_samples_split_50=accuracy_score(labels_test,pre50)clf=DecisionTreeClassifier()clf=clf.fit(features_train,labels_train)pre2=clf.predict(features_test)acc_min_samples_split_2=accuracy_score(labels_test,pre2)def submitAccuracies(): return {"acc_min_samples_split_2":round(acc_min_samples_split_2,3), "acc_min_samples_split_50":round(acc_min_samples_split_50,3)}
熵和杂质
例子:当某个路段有限速的时候,不论坡度如何,这里都会是红叉
建立决策树实际上就是:找到变量,找到变量分割点,从而产生尽可能均一的子集。实际上,决策树作决策的过程,就是对这个过程的递归重复
信息增益
信息增益定义为父项熵减去分割父项后生成的子项的熵的加权平均
决策树算法会最大程度地提高信息增益,它通过这种方法来选择进行分割的特征。如果特征有多个可获取的不同值,这将帮助它找出在何处分割,它会尝试最大程度的提高信息增益
阅读全文
1 0
- Udacity机器学习入门笔记——决策树(Decision Tree)
- 机器学习系列05——决策树(Decision tree)
- 机器学习算法—决策树(Decision Tree)
- 【机器学习】决策树(Decision Tree) 学习笔记
- 【机器学习】决策树(Decision Tree)
- 机器学习: 决策树(Decision Tree)
- 机器学习:决策树(Decision Tree)
- 机器学习之:决策树(Decision Tree)
- 决策树(Decision Tree)-机器学习ML
- 学习笔记35-决策树(Decision Tree)
- 机器学习(三)——决策树(decision tree)算法介绍
- 决策树 — Decision Tree
- [完]机器学习实战 第三章 决策树(Decision Tree)
- 机器学习之决策树 Decision Tree(一)
- 机器学习之决策树 Decision Tree(二)Python实现
- 机器学习之决策树(Decision Tree)
- 机器学习算法实践:决策树 (Decision Tree)
- 机器学习(三)决策树算法Decision Tree
- c# QRCode生成二维码 web 可带logo
- 欢迎使用CSDN-markdown编辑器
- kvm console 配置
- 求10 个整数中最大值
- java file文件类操作使用方法大全
- Udacity机器学习入门笔记——决策树(Decision Tree)
- 如何利用编辑器添加PDF页眉页脚
- 国外网友制作的“重启关闭PATCHGUARD”工具(支持VISTA~8.1)
- 二维码生成工具
- 读取BMP文件并显示出来(C++实现)
- HDU 6232 Confliction
- Linux三个网络监视器之《二》——nethogs
- android上层相关服务使用
- python圣斗士(十七):令人欲罢不能的正则