信息熵,条件熵,相对熵
来源:互联网 发布:千年软件下载 编辑:程序博客网 时间:2024/06/05 07:57
信息熵,条件熵,相对熵
Last Edit 2013/12/30
以前在学习通信原理,信息论时都学习过这样的原理,但是不能从根本理解这样的公式有什么用,能解决什么问题。例如,笔者最近在看用信息论里条件熵来检测图像视频的显著性,一直就不明白这两样东西怎么就放在一块了。后面在《数学之美》,在书中看到了这些公式能够解释什么问题时,才有所领悟~~~
1,信息熵(Entropy)
公式大家都不陌生吧:
P(x)是变量出现的概率;以前我们可以就学到此就为止了,那个信息熵在感性来看来表达的是什么东西呢?
信息熵越大,变量中包含的信息量就越大。同时,也说明了变量的不确定性也越大。
书中写到“一个事物内部会存在随机性,也就是不确定性,而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息,任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理,信息与信号处理的应用都是一个消除不确定性的过程。”
合理利用信息,而不是玩弄什么公式和机器学习算法,是做好搜索的关键。
2,条件熵(Conditional Entropy)
知道的信息越多,随机事件的不确定性就越小。
书中定义:在Y条件X的条件熵:(二元模型)
可以证明:
也就是说,引用了其他信息后,信息的不确定性降低了,“=”表示引入的信息对于X无关的,所以信息的不确定性不会改变。
(三元模型)
3,互信息(Mulual information)
也就是用来衡量两个信息的相关性大小的量。
4,相对熵
相对熵也是用来衡量相关性的,但和变量的互信息不同,它用来衡量两个取值为正数的函数的相似性。
结论:
1)对于两个完全相同的函数,它们的相对熵为0;
2)相对熵越大,两个函数的差异越大,反之 ,相对熵越小,两个函数差异越小;
3)对于概率分布或者概率密度函数,如果取值均大于0,相对熵可以衡量两个分布的差异性。
启示:
1)去计算一个变量的不确定性,可以考虑信息熵;在研究显著性时,可以用信息熵去计算一个区域的信息量的大小,近而来判断其为显著性区域或者像素点的可能性;
2)计算两个变量之间的相关性,可以考虑条件熵;
1 0
- 信息熵,条件熵,相对熵
- 信息熵 交叉熵 相对熵 条件熵
- 信息、信息熵、条件熵、信息增益、信息增益比、基尼系数、相对熵、交叉熵
- 与信息熵相关的概念梳理(条件熵/互信息/相对熵/交叉熵)
- 条件熵 信息增益
- 信息熵、条件熵、信息增益
- 关于信息增益、信息熵、条件熵
- 相对熵
- 相对熵
- 相对熵
- 熵 信息增益 相对熵(KL散度) 互信息
- KL散度(相对熵,信息增益)学习笔记
- 信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息
- 熵、联合熵、条件熵、交叉熵与相对熵意义
- 计算语言学之条件熵与联合熵、相对熵与交叉熵的应用
- 一文总结条件熵、交叉熵、相对熵、互信息
- 信息熵 条件熵 信息增益 信息增益比 GINI系数
- 信息熵 条件熵 信息增益 信息增益比 GINI系数
- ExtJS4.2 登陆表单(Login)简单示例
- 黑马程序员_银行业务调度系统思路及总结
- Leetcode: Divide Two Integers
- 关于C++中string::npos
- HI3531之“videoloss.yuv”
- 信息熵,条件熵,相对熵
- 教你如何迅速秒杀掉:99%的海量数据处理面试题
- summary: sizeof
- MFC中弹出文件保存目录或文件选择框
- 现在报名参加广州传智播客PHP培训是最好的时候!
- 如何查看当前Open的Cursor
- 遥感图像处理步骤及经验
- xapian-document,term,value
- 参数use_stored_outlines