第一章-绪论

从以下四个问题介绍信息论

1.        信息论的基本概念

2.        信息论的发展简史

3.        通信系统的基本模型

4.        香农简介

 

一．信息论的基本概念

信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。

信息的一般含义：

1.            “信息”是作为通信的消息来理解

— 在这种意义下，“信息”是人们在通信时所要告诉对方的某种内容。

2.            “信息”是作为运算的内容而明确起来

— 在这种意义下，“信息”是人们进行运算和处理所需要的条件、内容和结果

— 常常表现为数字、数据、图表和曲线等形式。

3.            “信息”是作为人类感知的来源而存在的。

— 这些描述都不全面

信息的本质

—    我国学者钟义信教授定义

—   “信息是关于事物运动的状态和规律”。或者说，是关于事物运动的“知识”。

信息的定义

—  是关于事物的运动状态及其状态变化的规律

几个要点

—  信息不是事物本身

—  Shannon认为：信息是关于环境事实的可以通信的知识

—  Winner认为：信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行交换的内容

—  近代人认为：信息是具有新内容的消息；是对于决策有价值的情报；是一切所感知的信号，信息就是知识等

信息：一个抽象的概念。

消息：是信息的载体，相对具体的概念，如语言，文字，数字，图像

信号：表示消息的物理量，电信号的幅度，频率，相位等

消息是信息的数学载体、信号是信息的物理载体。

 

现代信息论的起源：

—  解决方法

—  度量

—  一种定量描述和度量信息的方法

—  研究成果

—    1948年美国数学家克劳特·香农(C.E．Shannon)，Amathematical theory of communication

—   美国，数学家诺伯特·维纳，《时间序列的内插、外推和平滑化》、《控制论》

—   分别解决了按“通信的消息”来理解的信息(狭义信息)的度量问题，得到了相同的结果

—   香农的论文还给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。

香农信息论：

—   香农信息理论具有崭新的风貌，是通信科学发展史上的一个转折点，它使通信问题的研究从经验转变为科学。

—   信息问题的研究，进入了一个新的纪元。

—   三个基本观点

— 非决定论观点

— 形式化假说

— 不确定性

 

二．信息论的发展简史

1948~

七十年历史

a)        已成为一门独立的理论科学

b)        信息论是在长期的通信工程实践和理论研究的基础上发展起来的

c)        通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的

1924年，Nyquist提出信息传输理论：把信息率与带宽联系起来

如果以一个确定的速度来传输电报信号，就需要一定的带宽

1928年，Hartly提出信息量关系：提出把消息考虑为代码或单语的序列

1932年，Morse发明电报编码；

1936年，阿姆斯特朗(E．H．Armstrong)

在传输过程中增加带宽的办法对抑制噪声干扰肯定有好处

提出了宽偏移的频率调制方法，该方法是有划时代意义的。

1946年，柯切尼柯夫提出信号检测理论；

1948年，Shannon提出信息论，“通信中的数学理论”

现代信息论的奠基

 

 

三．通信系统的基本模型

通信系统的基本要求：

—   有效性

— 多、快：单位时间内传递的信息量最大

—   可靠性

— 好：在干扰情况下失真率和差错率最小

—   其它要求

— 适应性

— 经济性

— 实用性

 

四．香农简介

通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息。

这是数学家香农（Claude E.Shanon）在他的惊世之著《通信的数学理论》中的一句铭言。

沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。

—   1916年生于美国密执安州的加洛德

—   在大学中他就表现出了对数理问题的高度敏感

—   硕士论文就是关于布尔代数在逻辑开关理论中的应用。

—   就职于贝尔电话研究所（世界上最大的通信公司——美国电话电报公司的研究基地）

—   最具代表性的是《贝尔系统技术杂志》

— 奈奎斯特的《影响电报速率的一些因素》

— 哈特莱的《信息的传输》

— 最早研究了通信系统的信息传输能力，第一次提出了信息量的概念，并试图用教学公式予以描述

—   香农创造性地继承了他们的事业，在信息论的领域中钻研了8年之久，终于在1948年也在《贝尔系统技术杂志》上发表了244页的长篇论著。

—   1949年，又发表了另一篇名著：噪声下的通信

—   解决了过去许多悬而未决的问题：

— 经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，

— 解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。

两篇文章成了现在信息论的奠基著作。

—   他的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模像滚雪球一样越来越大。

—   不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香农本人所研究和意料的范畴，即从香农的所谓“狭义信息论”发展到“广义信息论”。

—   未来将是一个高度信息化的社会，信息工业将发展成头号工业，社会上大多数的人将是在从事信息的生产、加工和流通

—   人们才能更正确地估价香农工作的全部含义。