KL 散度,相对熵
来源:互联网 发布:温湿度数据采集器 编辑:程序博客网 时间:2024/05/18 01:12
找了一些文章,感觉这篇是最好的,转载自:
最好的解释链接
KL散度常用于衡量两个概率分布之间的距离。根据香农定理,对一个概率分布 P(X) 进行最优编码方案编码的平均编码长度为:
也就是说,如果对于概率分布 P(X) 的的编码为最优编码方案时:
现假设在同样的字符集上,存在另一个概率分布 Q(X) ,如果用概率分布 P(X) 的最优编码来为符合分布 Q(X) 的字符编码,因为 Q(x) 的最少编码数量应该不是 P(x) 的最优编码方案,除非两个分布一模一样。所以,此时表示这些字符就会比理想情况下多用一些比特数。
KL(Kullback-Leibler) Divergence ,就是用来度量这种情况下平均每个字符多用的比特数,因此可用来衡量两个分布的差异。得 KL 距离定义:
KL-Divergence ≥ 0 。当 KL-Divergence = 0 时,两个分布一模一样。
KL-Diverggence (A, B) ≠ KL-Divergence(B, A) ,即 KL 散度并不满足对称性(即使很多时候把它叫做 KL “距离”)。
如果想使其对称,可以使用如下度量:
0 0
- KL 散度,相对熵
- KL 散度,相对熵
- 相对熵(KL散度)
- 相对熵(KL散度)
- 相对熵(KL散度)
- 相对熵(KL散度)
- 相对熵(KL散度)
- Kullback–Leibler divergence(相对熵,KL距离,KL散度)
- 相对熵——KL散度
- KL散度(Kullback-Leibler_divergence)(相对熵)
- KL距离 相对熵
- KL距离(相对熵)
- KL距离(相对熵)
- KL距离(相对熵)
- 特征选择--信息增益(相对熵、KL散度、KL距离)
- 熵,交叉熵,相对熵(KL散度)
- 熵 信息增益 相对熵(KL散度) 互信息
- KL散度(相对熵,信息增益)学习笔记
- jQuery.extend 函数详解
- Segments_poj3304_计算几何
- 【linux】搭建ftp服务器
- android中ListView的定位:使用setSelectionFromTop
- 解谜类游戏的不正确玩法(用⑨重for循环玩密室献祭)(顺便求正解)
- KL 散度,相对熵
- 在PHP中使用协程实现多任务调度
- Spring中@Async用法总结
- pyc文件反编译到Python源码
- Segments poj 3304 计算几何
- Linux统计文件、目录个数,文件行数
- safari浏览器如何在下次打开时显示上次关掉的网页
- UVA 12034
- Ajax 之 (一)无刷新分页、xml信息的接收和处理、对缓存的处理