信息论
来源:互联网 发布:网络炒作公司bjiko 编辑:程序博客网 时间:2024/06/11 13:13
基本概念
熵
如果X是一个离散随机变量,取值空间为
H(x)=−∑p(x)log2p(x)
其中约定
联合熵
如果
H(X,Y)=−∑x∈X∑y∈Yp(x,y)logp(x,y)
在给定随机变量X的情况下, Y的条件熵H(Y|X)定义为:
H(Y|X)=∑x∈Xp(x)H(Y|X=x)=∑x∈Xp(x)[−∑y∈YP(y|x)logp(y|x)]=−∑x∈X∑y∈Yp(x,y)logp(y|x)
互信息
根据熵的连锁规则,有
H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)
因此,
H(X)−H(X|Y)=H(Y)−H(Y|X)
这个差被称为互信息。记做
I(X,Y)=∑x,yp(x,y)logp(x,y)p(x)p(y)
0 0
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论
- 信息论,熵
- 信息论计算器
- 信息论总结
- 信息论学习
- 信息论小结
- 10-信息论
- 决策树-信息论
- 【信息论】绪论
- 信道 | 信息论
- 信息论基本概念
- SAP中本地文件的upload和download的方法
- 天猫魔盒下单逻辑及数据瓶颈问题
- POJ3122-Pie
- 关于cocostudio的ScrollView使用
- 教你如何迅速秒杀掉:99%的海量大数据处理面试题
- 信息论
- C++学习笔记:容器的使用
- ubuntu常用软件管理
- Spark Quick Start
- UML的几种关系
- Ambient Occlusion
- Spring mvc 增加静态资源配置mvc:resources后访问不了注解配置的controller的问题
- [Unity实战]结合UGUI制作技能系统
- Android组件介绍之Activity(2)