信息论，熵

信息是为了描述这个世界，那么信息论就是描述信息的理论。

同样是说话，为啥有人简练，有人罗嗦

同样的文字，为啥有的包含很多多的信息，有的却像LD的演说？

说白了，就是信息量的问题。信息量与信息的长度相关，却不是严格相关，那么，有什么办法可以衡量一段信息所含的信息量呢？

答案就是熵。

熵的公式 是 H（X）=-sum(p(x)log(p(x)))

如果底数是e 那么熵的单位是奈特（nat），如果底数是2 那么单位是 比特（bit）

比特 挺眼熟，就是二进制的 位啊。对了，其实一段信息的熵的含义就是理论上 最少用多少位才能表示这段信息，也就是表示信息量多少。

为什么信息可以被压缩呢？因为表示信息所用的二进制位数远远多于其熵

熵不同，压缩率也会不同。就好比如果新闻联播能够压缩到 1/100，而普通的电视节目却不能。因为新闻联播节目的熵太低了……