信息论第一章（期末复习）

1,信息理论是应用数学的一个分支还有电子工程，涉及到量化的信息。起源是香农的一片论文“A Mathematical Theory of Communication ”

2。信息论的发展 信号加工操作，比如数据压缩，可靠的储存和数据交流。

3.信息是可以被测量的，就像密度和质量一样，传输的符号对于接受者来说是不确定的

4.信息论的作用，信号来源的电源  信号传输的信息通道的带宽或频率范围;   还有信道的噪声，它会改变信号

5.香农的信息理论还告诉工程师，在一个理想的系统中，可以传输多少信息。

6.Shannon还在数学上详细阐述了“数据压缩”的原理，它认识到这句话的结尾“只有理解必须传递的信息”才会显示出来。

   他展示了我们如何通过噪声信道传输信息，我们可以控制出错率。

7.  信息论的重要性

    （1）在很大程度上，多亏了香农的洞察力，数字系统已经在通信和信息处理领域占据了主导地位。 调制解调器 卫星通信 数据存储 无线通信技术

     （2）Shannon激发了一种创造性的方法来压缩比特(只提取“真实”信息)，将它们编码以发送到一个通道上，并在以后或其他地方以任何期望的精确度来解释它们。

      （3）随着香农的洞察力，工程师和其他人继续开发方法以最大化另一种通讯突破——晶体管的发明。

8  信息论的应用

       交流   统计学的推论  自然语言处理（Nlp）  密码学  量子论计算   神经生物学

9 .数字通信系统框架

10 密码学

    密码的详细操作由算法控制，每个实例由一个“键”控制

   对称加密 DES  AES  公用一把私钥

   非对称加密  RSA Diffie-Hellman  公钥私钥

11 信源编码  =  数据压缩

    （1）删除原始信息源中自然发生的不受控制的冗余
     （2）为源输出提供有效的表示
    （3）带宽利用率最大化
     （4）提高数据传输速度

12 信源编码的实例 JPEG编码

    原始图片数据，切分8*8像素，再通过FDCT变换，然后再量化，熵编码，压缩的图像

13  信道编码

    （1）格式化传输的信息，增强其对噪音的免疫力。
    （2）提供一种有效的方法来交换另一种通信资源(例如，减少电能消耗的贸易带宽。

    信道编码是通过将受控冗余插入到传输信息流中来实现的
   任何额外的比特，如汉明码，BCH码，reed - solomon码，卷积码，turbo码，或
    作为一种扩展的信道信号集，如在trelliscoded调制的情况下。

14  信道编码应用

   汉明码  CRC码 GSM  卷积码

15  调制解调

        将信道编码器输出转换为模拟信号，该信号适用于通过噪声信道进行有效传输。
      •调制器的工作方式是将正弦载波的振幅、频率或相移到信道编码器输出上。
     振幅键控(ASK)
      频移键控(FSK)
    相移键控(PSK）

16   通信系统设计准则

    （1）有效利用信道带宽和传输信号功率等通信资源
    （2）减少模拟通信中的逼真度损失
    （3）尽量减少数字通信中出现错误的概率
    （4）降低系统实现的复杂性(成本)
         换句话说，一个人必须在带宽、权力、可靠性和复杂性之间找到平衡。

17  信道模型

        ——电话通道

        ——同轴电缆

       ——光纤

       ——微波无线电频道

       ——卫星频道

          从数学的角度来说，上面的大部分通道可以被建模为一个过滤器加上附加的噪声，如下所示。

 

18  简单的信道模型的例子

   r(t) = s(t)   *  h（t) + n(t)

              假设滤波器是一个具有脉冲响应h(t)的确定性线性定常滤波器。

            进一步假设噪声是一个加性的高斯白噪声(AWGN)处理n(t)。