相对熵——KL散度
来源:互联网 发布:淘宝电子发票如何下载 编辑:程序博客网 时间:2024/06/08 11:48
信息熵反应了一个系统的有序化程度,一个系统越是有序,那么它的信息熵就越低,反之就越高。
熵的定义:
如果一个随机变量的可能取值为,对应的概率为,则随机变量的熵定义为
相对熵的定义:
相对熵又称互熵,交叉熵,鉴别信息,Kullback熵,Kullback-Leible散度(即KL散度)等。设和是取值的两个概率概率分布,则对的相对熵为
在一定程度上,熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典型情况下,P表示数据的真实分布,Q表示数据的理论分布,模型分布,或P的近似分布。
相对熵的性质:
(1)尽管KL散度从直观上是个度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性,即
(2)相对熵的值为非负值,即
在证明之前,需要认识一个重要的不等式,叫做吉布斯不等式。内容如下:
相对熵的应用:
相对熵可以衡量两个随机分布之间的距离,当两个随机分布相同时,它们的相对熵为零,当两个随机分布的差别增大时,它们的相对熵也会增大。所以相对熵(KL散度)可以用于比较文本的相似度,先统计出词的频率,然后计算
KL散度就行了。另外,在多指标系统评估中,指标权重分配是一个重点和难点,通过相对熵可以处理。
阅读全文
0 0
- 相对熵——KL散度
- KL 散度,相对熵
- KL 散度,相对熵
- 相对熵(KL散度)
- 相对熵(KL散度)
- 相对熵(KL散度)
- 相对熵(KL散度)
- 相对熵(KL散度)
- Kullback–Leibler divergence(相对熵,KL距离,KL散度)
- KL距离——相对熵(Relative Entropy)
- KL散度(Kullback-Leibler_divergence)(相对熵)
- KL距离 相对熵
- KL距离(相对熵)
- 机器学习基础(五十八)—— 香农熵、相对熵(KL散度)与交叉熵
- KL距离(相对熵)
- KL距离(相对熵)
- 特征选择--信息增益(相对熵、KL散度、KL距离)
- 熵,交叉熵,相对熵(KL散度)
- 《Effective Java》(17~22)阅读笔记
- org.hibernate.UnknownEntityTypeException: Unable to locate persister: com.ds.domain.Person at org.h
- Spring入门(Resources/ResourceLoader)
- imx6q lvds 无法输出小于38M时钟的解决办法
- 后台获取checkbox数组
- 相对熵——KL散度
- 集合之浅谈HashSet
- MySQL day7---MySQL存储过程
- 代码整洁之道-培训笔记
- Kaggle竞赛(1)——Tantic泰坦尼克之灾
- Java 中对象与垃圾回收
- 网络爬虫中的验证码识别
- C#中对ini文件简单操作举例
- [bzoj4196][Noi2015]软件包管理器 树链剖分