10.1 信息论概述

信息论是应用数学的一个分支，主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息，例如通过无线电传输通信。在这种情况下，信息论告诉我们如何设计最优编码，以及计算从一个特定的概率分布上采样得到、使用多种不同编码机制的消息的期望长度。
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。消息“今天早上太阳升起”信息量是如此之少以至于没有必要发送，但另一条消息“今天早上有日食”信息量就很丰富。
我们想要通过这种基本想法来量化信息，特别地，

• 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。
• 较不可能发生的事件具有更高的信息量。
• 独立事件应具有增量的信息。例如，投掷硬币两次正面朝上传递的信息量，应该是投掷一次硬币正面朝上的信息量的两倍。

为了满足上述三个性质，定义一个事件x=x的自信息为

I(x)=−logP(x)

我们使用log来表示自然对数，其底数为e,定义I(x)单位是奈特，一奈特是以1e的概率观测到一个事件时获得的信息量。使用底数为2的对数，单位是比特或者香农。通过比特度量的信息只是通过奈特度量信息的常数倍。
当x是连续的，我们使用类似的关于信息的定义，但有些来源于离散形式的性质就丢失了。例如，一个具有单位密度的事件信息量仍然为0，但是不能保证它一定发生。