信息论的知识
来源:互联网 发布:诸宸的悲剧 知乎 编辑:程序博客网 时间:2024/06/04 17:52
组成客观世界并促进社会发展的最基本的三大要素是:物质,信息,能量,其中物质是基础,是实体。
信息的传输过程如下:
信源–编码–信道–译码–信宿
单符号离散信源可用离散随机变量X来表示。
随机变量的状态空间和概率空间是构成信源空间的两个基本要素。其中概率空间是决定性要素。
接收者获取的信息量,等于通信前后不确定性的消除。
不确定性的消除=同信前的不确定性-通信后仍然存在的不确定性
信源a所含有的全部信息量,则称为自信量记为I(a)
而不确定性是与可能性(概率)相关的,因而I(ai)应该是p(ai)的函数
I(ai)=f[p(ai)]
能作为信源整体信息测度的确定量应是信源发每一个符号的平均信息量,
信息熵等于各个符号自信量在自己的概率空间上的加权平均
信息熵的特性:
熵是随机变量的随机性的描述
变量Y、Z等概,随机性大,变量X不等概,则随机性小
等概情况下,可取值越多,随机性越大
熵H()是描述随机变量所需的比特数
熵是随机变量平均不确定性的描述,其大小不取决于个别取值的信息量大小
X试验中发生a1,获得的自信息为-log0.01=6.64(bit)
Y试验中发生a1,获得的自信息为-log0.5=2.32(bit)
H()反映的是平均的不确定性
0 0
- 信息论的知识
- Mitchell机器学习-决策树学习中信息论的相关知识
- 第一章 信息论的基本概念
- 信息论的简单应用
- 信息论的熵
- 信息论的熵
- 信息论的编码
- 信息论的熵
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 一个基于信息论的人生观
- ICA 原理以及相关概率论,信息论知识简介
- HDU-2871 Memory Control(线段树)
- C/C++——程序的内存分配
- comparetor和comparable的区别
- jsp自定义标签
- OJ-虚函数
- 信息论的知识
- [设计模式学习笔记]FACADE外观模式
- Android开发_Fragment
- leetcode 88 Merge Sorted Array
- 设计模式之策略模式——极客学院学习笔记
- WebBrowser与IE的关系,如何设置WebBrowser工作在IE9模式下?
- gdb和gcc升级:解决编译和调试时出现gdb no symbol in current context
- PHP自动登录的实现和Cookie的安全性(UCHome的实现方法)
- 设计模式之十八:桥接模式(Bridge)