【基本概念】信息熵 条件熵 联合熵 左右熵 互信息
来源:互联网 发布:南方旅游 知乎 编辑:程序博客网 时间:2024/05/29 15:41
最近用到信息论的知识表较多,自己也总结下。
1 信息熵(entropy)
定义式:
其中P(x)是变量出现的概率。从直观上,信息熵越大,变量包含的信息量越大,变量的不确定性也越大。一个事物内部会存在随机性,也就是不确定性,而从外部消除这个不确定性唯一的办法是引入信息。如果没有信息,任何公式或者数字的游戏都无法排除不确定性。几乎所有的自然语言处理,信息与信号处理的应用都是一个消除不确定性的过程。
2 条件熵(conditional entropy)
知道的信息越多,随机事件的不确定性就越小。
定义式:
3 联合熵
设X Y为两个随机变量,对于给定条件Y=y下,X的条件熵定义为:
4 左右熵
一般用于统计方法的新词发现。
计算一对词之间的左熵和右熵,熵越大,越说明是一个新词。因为熵表示不确定性,所以熵越大,不确定越大,也就是这对词左右搭配越丰富,越多选择。如: 屌丝,这个词,我们希望左右熵都很大,希望屌丝这个词左右边搭配尽可能丰富,如左边:这屌丝、臭屌丝、穷屌丝;右边:屌丝的,屌丝样、屌丝命等。左右搭配丰富。
5 互信息(mutual information)
两个事件的互信息定义为:I(X;Y)=H(X)+H(Y)-H(X,Y),也就是用来衡量两个信息的相关性大小的量。
互信息是计算语言学模型分析的常用方法,它度量两个对象之间的相互性。
定义式:
应用:
(1)去计算一个变量的不确定性,可以考虑信息熵;在研究显著性时,可以用信息熵去计算一个区域的信息量的大小,近而来判断其为显著性区域;
(2)计算两个变量之间的相关性,可以考虑条件熵;
0 0
- 【基本概念】信息熵 条件熵 联合熵 左右熵 互信息
- 信息熵,条件熵,互信息的通俗理解
- 图像的熵、联合熵、互信息
- 信息量、熵、最大熵、联合熵、条件熵、相对熵、互信息
- 互信息和信息熵
- 基于互信息和左右信息熵的短语提取识别
- 基于互信息和左右信息熵的短语提取识别
- 互信息和左右信息熵 用于 NLP 中的短语识别与提取
- 基于互信息和左右信息熵的短语提取识别
- 熵模型—— 熵,条件熵,联合熵,相对熵,互信息及其关系,最大熵模型。。
- 与信息熵相关的概念梳理(条件熵/互信息/相对熵/交叉熵)
- 互信息和左右熵的新词发现(笔记)
- 自信息, 信息熵, 互信息和K-L散度
- 熵 信息增益 相对熵(KL散度) 互信息
- 信息论:熵与互信息
- 信息论:熵与互信息
- 信息论:熵与互信息
- 一文总结条件熵、交叉熵、相对熵、互信息
- Audio Unit Hosting实时录音及播放的官方相关代码
- jq通过id取值
- 反柯里化
- android屏幕旋转时,Activity不重新调用onCreate的方法
- Cocos2dx交叉编译后在eclipse编译不通过的问题解决
- 【基本概念】信息熵 条件熵 联合熵 左右熵 互信息
- JDBC事务和JTA事务
- 小米神秘新品“绿豆”曝光:有点大
- the first day I met you
- 2种方式获取对象内容
- Java实现约瑟夫算法问题
- 事务的概念
- 范冰冰自嘲无中国味 羡慕汤唯国味天成
- IOS开发——3.5/4英寸屏幕适配