为什么KL-divergence 可以用来衡量两个概率分布的不相似性？

以下所有内容均来自 PRML 一书，读者读了之后，有任何没有看懂的，请留言。我是传播知识的小蜜蜂

首先KL-divergence的定义：

如果有个未知的分布为p(x)，我们使用q(x)估计它。从信息传输的角度理解，如果使用它们刻画信息编码的方法。那么使用q(x)估计p(x)时，平均额外需要多编码的信息长度为：

KL(p∥q)=−∫p(x)lnq(x)dx−(−∫p(x)lnp(x)dx)=−∫p(x)lnq(x)p(x)dx

。如果要想使得两个分布p(x)和q(x)尽可能的相同，则KL(p∥q)应尽可能地最小。
令 f(x)=−lnq(x)p(x)。显然，f(x) 是个凸函数。由凸函数的定义和Jensen不等式可知：

∫p(x)f(x)dx≥f(∫xp(x)dx)

，因此：

KL(p∥q)≥−ln∫(q(x)p(x)p(x))dx=−ln∫q(x)dx=0

. 事实上，−ln(x)是强凸函数， 因此等号并不成立。即：

KL(p∥q)>−ln∫(q(x)p(x)p(x))dx=−ln∫q(x)dx=0

。 根据KL(p∥q)的定义，只用当p(x)==q(x)时等号成立。因此，KL(p∥q)可以用来衡量两个分布的差异。它的值越大说明两个分布的差异越大。