python 3计算KL散度(KL Divergence)
来源:互联网 发布:虚拟机装mac蓝屏 编辑:程序博客网 时间:2024/05/21 06:24
KL Divergence
KL( Kullback–Leibler) Divergence中文译作KL散度,从信息论角度来讲,这个指标就是信息增益(Information Gain)或相对熵(Relative Entropy),用于衡量一个分布相对于另一个分布的差异性,注意,这个指标不能用作距离衡量,因为该指标不具有对称性,即两个分布
KL Divergence的计算公式为
对于离散分布
对于连续分布
程序
利用python 3计算
import numpy as npimport scipy.stats# 随机生成两个离散型分布x = [np.random.randint(1, 11) for i in range(10)]print(x)print(np.sum(x))px = x / np.sum(x)print(px)y = [np.random.randint(1, 11) for i in range(10)]print(y)print(np.sum(y))py = y / np.sum(y)print(py)# 利用scipy API进行计算# scipy计算函数可以处理非归一化情况,因此这里使用# scipy.stats.entropy(x, y)或scipy.stats.entropy(px, py)均可KL = scipy.stats.entropy(x, y) print(KL)# 编程实现KL = 0.0for i in range(10): KL += px[i] * np.log(px[i] / py[i]) # print(str(px[i]) + ' ' + str(py[i]) + ' ' + str(px[i] * np.log(px[i] / py[i])))print(KL)
0 0
- python 3计算KL散度(KL Divergence)
- KL Divergence(KL散度)
- KL 散度( KL-Divergence)
- KL Divergence KL散度
- KL散度 kl divergence
- KL Divergence(KL 散度)
- 多变量高斯分布之间的KL散度(KL Divergence)
- KL散度(Kullback–Leibler divergence)
- KL divergence
- KL divergence
- KL divergence
- KL散度(Kullback-Leibler Divergence)
- KL散度(Kullback-Leibler divergence)
- Kullback–Leibler divergence(相对熵,KL距离,KL散度)
- KL距离,Kullback-Leibler Divergence 浅谈KL散度
- Kullback–Leibler divergence KL散度
- KL距离(Kullback-Leibler Divergence)
- (转载)KL距离,Kullback-Leibler Divergence
- Linux配置Tomcat
- 语言的碰撞
- Default Constructor
- dialog全屏显示图片
- Gflag使用
- python 3计算KL散度(KL Divergence)
- 配置tomcat连接池
- QList
- Android页面跳转详解
- WPF RichTextBox 插入换行 移动光标
- 为Tomcat分配内存
- Windows Live Writer使用代码高亮工具
- 期中模拟考试 题解
- HTTP返回码速查表