熵与信息增益
来源:互联网 发布:中国国际地位知乎 编辑:程序博客网 时间:2024/06/06 00:31
熵与信息增益
在决策树算法中,决定特征优先级时,需要用到熵的概念,先挖个坑
1 信息量
信息量是用来衡量一个事件的不确定性的;一个事件发生的概率越大,不确定性越小,则它所携带的信息量就越小。
假设X是一个离散型随机变量,其取值集合为
举个例子,小明考试经常不及格,而小王则经常得满分,所以我们可以做如下假设:
事件A:小明考试及格
概率为
事件B:小王考试及格
概率为
可以看出:小明及格的可能性很低(10次考试只有1次及格),因此如果某次考试及格了(大家都会说:XXX竟然及格了!),必然会引入较大的信息量,对应的I值也较高;而对于小王而言,考试及格是大概率事件,在事件B发生前,大家普遍认为事件B的发生几乎是确定的,因此当某次考试小王及格这个事件发生时并不会引入太多的信息量,相应的I值也非常的低。
这跟《黑天鹅》一书中强调的“黑天鹅事件往往有重大影响”有异曲同工之妙。
2 熵
熵是用来衡量一个系统的混乱程度的,代表一个系统中信息量的总和;信息量总和越大,表明这个系统不确定性就越大。
假设小明的考试结果是一个0-1分布
在上面章节,我们可以分别得到小明和小王考试及格对应的信息量。
而如果我们想要进一步度量小明考试结果的不确定度,就要借助于熵的概念。
信息量用来衡量一个事件的不确定度,熵则用来衡量一个系统(也就是所有事件)的不确定度。
那如何度量系统中所有事件的不确定度?期望。
我们对所有可能事件所带来的信息量求期望,其结果就能衡量小明考试的不确定度:
与之对应地,小王的熵:
虽然小明考试结果的不确定度较低,毕竟十次有9次都不及格;但是小王考试结果的不确定度更低,1000次考试只有1次不及格的机会,结果相当的确定。
再假设一个成绩相对普通的学生小东,他及格的概率是
小东考试结果的不确定度比前边两位同学要高很多,在成绩公布之前,很难准确猜测出他的考试结果。
从上面可以看出,熵是信息量的期望值,它是一个随机变量的确定性的度量。
熵越大,变量的取值越不确定;反之,熵越小,变量取值就越确定。
对于一个随机变量X,它所有可能取值的信息量的期望
X的熵定义为:
如果
为了保证有效性,这里约定当
假如X为0-1分布,当两种取值的可能性相等时(p=0.5),不确定度最大(此时没有任何先验知识);当p=0或1时,熵为0,即此时X完全确定。
熵与概率p的关系如下图:
注:熵的单位随着公式中log运算的底数而变化,当底数为2时,单位为“比特”(bit),底数为e时,单位为“奈特”。
3 条件熵
在随机变量X发生的前提下,随机变量Y发生所新带来的熵定义为Y的条件熵,用
如果这样说显得空洞,那么可以进行转换:
4 信息增益
在决策树ID3算法中,使用信息增益来选择最佳的特征作为决策点。
信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度,即用来衡量特征X区分数据集的能力。
当新增一个属性X时,信息熵
5 互信息
两个随机变量X,Y的互信息定义为X,Y的联合分布和各自独立分布乘积的相对熵,用I(X,Y)表示:
而一般来说,熵
所以在决策树算法中,信息增益等价于训练数据集中类和特征的互信息。
6 信息增益比
在决策树C4.5算法中,使用信息增益比来选择最佳的特征作为决策点。
特征A对训练数据集D的信息增益比
这之中
本篇博客主要参考自:
《信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息》
《交叉熵(Cross-Entropy) 》
《最大熵模型中的数学推导》
《我们为什么需要信息增益比,而不是信息增益? 》
- 熵与信息增益
- 信息熵与信息增益
- 信息熵、信息增益与信息增益率
- 信息熵、信息增益与信息增益率
- 熵与信息增益随记
- 信息熵与信息熵增益
- 信息熵与信息增益的概念
- 信息熵与信息增益的理解
- 信息增益与信息增益率详解
- 2.1、决策树之信息增益与熵
- 信息增益与决策树
- 决策树与信息增益
- 熵,信息增益,信息增益率,Gini
- 信息增益 熵 信息增益率
- 熵、信息增益、信息增益比
- 熵,信息增益,信息增益率,Gini
- 对信息熵与信息增益的初步理解
- 条件熵 信息增益
- 杭电5914
- 100道动态规划——1 UVA 1347 Tour 算法导论书后习题 双调巡游
- PAT 1062. Talent and Virtue
- Gson使用指南
- 自定义View——可打点记录的进度条
- 熵与信息增益
- maven管理项目如何查找jar依赖
- [剑指offer学习心得]之:重建二叉树
- VC++之绘制线条
- 嵌入式SQL应用
- 短进程优先算法C语言实现
- 超炫瀑布流效果 第一篇
- 包与import
- [HTML/CSS]布局学习笔记-企业网站导航部分