信息理论-信源及信源熵
来源:互联网 发布:淘宝店铺dsr计算公式 编辑:程序博客网 时间:2024/04/28 15:52
1.1信源和信源的不确定性
信源发出消息,经过信道到达信宿,信宿收到消息,获得了信息,这个过程就称作通信。
1.1不确定性的概念
(1)离散信源:若一类信源输出的消息常常是以一个个符号的形式的出现,符号的取值是离散可数的,这样的信源称为离散信源。
(2)消息是以一定的概率出现的,所以可以采用概率空间来描述。
信源的不确定程度与概率空间的消息数和消息的概率分布有关。
信源的消息为等概率分布时,不确定程度最大
信源的消息为等概率分布,且其消息数目越多,其不确定程度越大。
只发送一个消息的信源,其不确定程度为0,不发送任何信息1.1.2 信源不确定度的定义
概率倒数的对数来度量信源的不确定度,即:
H(X)=log(1/p)=-log p
用I(xi)=−logp(xi) 表示信源输出一个消息xi 所提供的信息量
1.1.3 信息度量自信息量
$I(x_{i})=-log p(x_{i})$
- 联合信息量
I(xiyi)=−log2p(xiyi) - 互信息量
I(信息量)=不肯定程度的减小量
xi对yi互信息量为
I(yi;xi)=log2p(yi/xi)p(yj)=I(yj)−I(yj/xi) (i=1,2….n;j=1,2…m)
1.2、信息熵
信息熵是平均信息量的测度指标。如果某输入变量只有一个取值,也就是所有样本在该变量上去相同的值,没有差异,那么这个输入变量事实上并没用给输入变量的分类预测带来任何有意义的信息,可认为它所提供的信息量是0.因此,信息量的多少代表了变量取值差异的程度,信息熵是分类型变量取值差异性的测度指标。
计算公式:
1.3 平均互信息量
- 信息理论-信源及信源熵
- 【信息论】信源与信息熵(二)
- 【信息论】信源与信源熵(一)
- 【信息论】信源与信源熵(三)
- 第二章-信源与信息熵(一)
- 第二章-信源与信息熵(二)
- 第二章-信源与信息熵(三)
- 第二章-信源与信息熵(一)
- 离散信源熵的基本知识
- 信源采集信息后的存储方式
- 信源禾铺躺懈怖章戎坦估咆靡敲冀
- 信源作业
- 在matlab下计算信源熵
- matlab程序及C语言实现一维多元离散信源熵
- 典型序列及信源编码的一种理解
- 信源编码(1):色彩空间及音频编码
- 北信源软件评测
- CMMB 信源压缩技术
- 使用Codeblocks调试Caffe相关代码
- jquery easyui datebox 的使用
- 安全漏洞--linux 最新内核通用提权漏洞利用示例 (脏牛Dirty COW)
- web前端编辑所见即所得
- 鼠标聚焦到input输入框时,按回车键刷新页面原因及解决方法
- 信息理论-信源及信源熵
- php的require和include使用详解
- 读深入理解Linux内核 (第9章 进程地址空间, 第一部分 ---- 概念)
- 文章网站转载策略改变
- Excel导入easyui dataGrid数据批量保存新思路
- RxJava 和 RxAndroid 四(RxBinding的使用)
- python爬虫简单入门
- web容器 web服务器 servlet/jsp容器 之间的区别和关系
- 高通thermal-engine配置文件格式详解