互信息

作者：maple

链接：https://www.zhihu.com/question/24059517/answer/37430101
来源：知乎

互信息指的是两个随机变量之间的关联程度，即给定一个随机变量后，另一个随机变量不确定性的削弱程度，因而互信息取值最小为0，意味着给定一个随机变量对确定另一个随机变量没有影响，最大取值为随机变量的熵，意味着给定一个随机变量，能完全消除另一个随机变量的不确定性。

公式：

随机变量X与Y之间的互信息： I(X;Y)=H(X)-H(X|Y)

理解：原来我对X有些不确定(不确定性为H(X))，告诉我Y后我对X不确定性变为H(X|Y), 这个不确定性的减少量即为互信息