利用决策树分类时划分数据集的特征的选取:信息增益
来源:互联网 发布:上海网络推广5atg 编辑:程序博客网 时间:2024/05/18 12:34
在利用决策树进行类别划分时,如果每个实例均有多个特征,那么在决策树每一个分支到底利用哪个特征进行类别划分呢?《机器学习实战》这本书提到一种方法,哪就是选取的特征要能使信息增益最大(信息熵的变化)。首先我们要根据分类标签计算出原始的信息熵,如有一堆实例,它们可以划分成鱼类和非鱼类(鱼类,非鱼类即分类标签),假设鱼类的实例个数是2,非鱼类的实例个数是3,那么由信息论的知识可知原始的信息熵为0.970950594455。接着我们分别以每个特征把这些实例分类,再根据分类标签(鱼非鱼)计算其信息熵,他们与原始信息熵的差值便是信息增益,选取使信息增益大的那个特征作为最好的划分数据集的特征。
0 0
- 利用决策树分类时划分数据集的特征的选取:信息增益
- 文本分类的特征选择方法之信息增益
- 决策树--信息增益,信息增益比,Geni指数的理解
- 决策树算法(四)——选取最佳特征划分数据集
- 决策树算法(四)——选取最佳特征划分数据集
- 决策树中信息增益最大找的是样本之间差异最大的特征
- 决策树(信息增益)的java实现
- 数据特征的选取
- 信息增益、信息增益率、gini、特征选择、决策树
- 决策树1---特征选择(信息增益)
- 论文笔记3《基于信息增益和最小距离分类的决策树改进算法》
- 机器学习实战之决策树(2)---选择最好的特征来划分数据集
- 文本分类入门:特征选择算法之开方检验、信息增益;特征选择与特征权重计算的区别
- 特征选择--文本分类: 信息增益
- 【文本分类】 特征抽取之信息增益
- 熵对分类决策树的划分
- 决策树ID3算法中对于属性信息增益的研究
- 决策树中熵和信息增益的计算
- ActiveReport入门教程(四) - 数据按钮栏和数据卡片组
- 数据库设计5
- jsp中tag打不开的原因
- C/C++:函数模板与类模板
- 【VC编程技巧】窗体☞3.9静态窗口分割 (固定分割线)
- 利用决策树分类时划分数据集的特征的选取:信息增益
- 关于腾讯云服务器使用FTP详细配置教程
- __declspec(dllimport)的用途
- POJ2528___(线段树+哈希(离散化))
- 数据库设计6
- Prime Distance(数论)
- 使用<Combox:combox>时因为多加了<input type="hidden">造成的错误
- unity2D 将转战 Cocos平台 (含两平台对比) [摸索建立一个塔防游戏系列]
- 使用 IBM Lotus Notes/Domino V8 邮件收回功能