机器学习算法(四)决策树
来源:互联网 发布:小米手机一直2g网络 编辑:程序博客网 时间:2024/06/14 05:15
一、信息熵
首先给出信息熵的定义如下
1、无约束条件时,均匀分布熵最大
2、若给定分布的期望和方差,则正态分布的熵最大
二、决策树是什么
决策树就是下图所示的东西
三、决策树
1、几个名词:
1、训练数据集:D
2、数据的标签有K种,即有K个类,记为
3、数据有多个特征,其中有某一个特征叫A,这个A特征有n个取值,记所有A特征取值为i的数据的集合为
4、在子集
定义如下两个量:
2、评估指标
根据以上定义的量,定义如下几个评估指标:
1、信息增益:
2、信息增益率:
3、基尼系数:
3、决策树算法
常用决策树算法包括ID3算法、C4.5算法,CART决策树,它们最重要的不同在于评估指标不同,其中,ID3采用信息增益作为评估指标,C4.5采用信息增益率作为评估指标,CART决策树采用基尼系数作为评估指标。
我们以ID3为例,它首先扫描所有特征,找出信息增益最大的特征作为其根节点,在对其各个子节点递归地进行这个过程,直至达到某个收敛条件。
4、决策树的目标函数
决策树的目标函数,或者说决策树的损失函数为:
其中,
对该目标函数进行正则化后的目标函数为:
阅读全文
0 0
- 机器学习算法(四)决策树
- Python与机器学习(四)决策树
- 机器学习算法---决策树
- 机器学习算法-决策树
- 机器学习算法-决策树
- 机器学习--决策树算法
- 机器学习-算法--决策树
- 机器学习-决策树算法
- 机器学习:决策树算法
- 机器学习算法-决策树
- 机器学习算法---决策树
- 机器学习---决策树算法
- 机器学习算法---决策树
- 机器学习算法(二):决策树算法
- 机器学习算法(3:决策树算法)
- python3.5《机器学习实战》学习笔记(四):决策树算法
- 机器学习--分类算法(一)决策树
- 白话机器学习算法(十八)决策树
- Java——设计模式——装饰者模式——在IO里的应用
- shell去字符串长度和截取
- C++析构函数为什么要为虚函数?
- c# sql数据库基本操作
- Linux用户权限
- 机器学习算法(四)决策树
- 在ubuntu 16.04下安装CUDA 8.0
- gdb调试多进程和多线程
- 详解差分约束系统
- JQuery一、
- python 数组排序
- 学习ajax的一点收获
- 浅谈 java 常见类(一)
- JQuery——相关练习