信息熵与信息增益
来源:互联网 发布:2016网络最新最火的词 编辑:程序博客网 时间:2024/05/18 02:18
信息熵与信息增益
信息熵
信息熵的出现解决了信息的量化度量问题,由克劳德香农提出,用来描述信息源的不确定程度。信息论之父克劳德香农第一次用数学语言阐明了概率与信息冗余度的关系。
我们可以根据一件事情出现的概率来衡量其确定性。假设:
1.设不确定性函数为f,则f是概率p的单调递减函数。
2.两个独立事件所产生的不确定性等于各自不确定性之和,称为可加性。
同时满足以上两个条件的函数f是对数函数,即f(p)=log(1/p)=-logp
定义信息熵:
我们需要考察所有可能发生情况的平均不确定性。若有n个事件:N1...N2...Nn,对应概率为:P1...P2...Pn,且各种事件的出现彼此独立。此时,信息熵H(U)=∑(i=1,n)pi*log(pi)。式子中对数一般取2为底,但也可以取其他值。
信息增益与特征选择
在信息增益中,衡量标准时看特征值能够为分类系统带来多少信息,带来的信息越多,该特征值越重要。对一个特征而言,系统有它和没有它时信息量将发生变化,而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量,就是熵。
特征T给聚类C或分类C带来的信息增益为
IGT(T)=H(C)-H(C|T)
0 0
- 信息熵与信息增益
- 熵与信息增益
- 信息熵、信息增益与信息增益率
- 信息熵、信息增益与信息增益率
- 熵与信息增益随记
- 信息熵与信息熵增益
- 信息熵与信息增益的概念
- 信息熵与信息增益的理解
- 信息增益与信息增益率详解
- 信息增益与决策树
- 决策树与信息增益
- 熵,信息增益,信息增益率,Gini
- 信息增益 熵 信息增益率
- 熵、信息增益、信息增益比
- 熵,信息增益,信息增益率,Gini
- 2.1、决策树之信息增益与熵
- 信息熵和信息增益
- 信息熵、gini、信息增益
- 一天收入8万 淘宝开放平台为移动开发者带来新蓝海
- 随机生成一个十位数字序列,要求各位不相同
- commons-HttpClient相关笔记
- lintcode-堆化-130
- 黑马程序员 ----C语言 结构体
- 信息熵与信息增益
- LeetCode Length of Last Word
- Leetcode: Move Zeroes
- 从单链表中输出指定值的节点
- 【编程题】-C++实现:判断字符串在末尾加一个字符,能否构成回文串
- 一个小公司老板的日常管理,希望能让创业的朋友学到东西
- 网络编程入门(1
- lintcode-旋转图像-161
- Java命令行执行那些事