熵的通俗理解
来源:互联网 发布:windows镜像下载网站 编辑:程序博客网 时间:2024/05/16 06:56
上次说了有关熵、条件熵、相对熵、互信息的概念及其之间的关系。为了更好的了解熵,这次谈一谈熵的通俗理解。
1. 公式及其含义
2.信息量
3. 由信息量想到的
4. 信息熵
1. 公式及其含义
熵的公式:
熵的含义:
样本集合不纯度,熵越小,集合不纯度越低;
知识的不确定性,熵越小,不确定性越小;
系统的复杂度,熵越大,系统越复杂。(系统越复杂,出现不同情况越多,信息量越大,熵越大。)
2. 信息量
信息量是对信息的度量,就好比米是对距离的度量。信息量到底多大,跟发生的事件有关,具体说跟事件发生的概率有关。举两个例子说一下:
1. 刷微博,发现新闻哪位明星出轨了,关键这位明星是给大家的印象很好。于是,我告诉朋友,谁谁出轨了,朋友惊讶地说:“呀,怎么可能啊!”(这是一事件,发生概率小,但是给我们带来了很大的信息,即信息量却很大。也就是说,越不可能发生的事件发生了,则由其带来的信息量就越大。)
2. 一朋友谈了朋友,几年后跟我说他们要结婚了,我说:“恭喜啊!修成正果。”(这一事件相对于上一事件来说,信息量不是那么大,原因是,他们结婚或者没在一起了都是意料之中的事情。也就是说,越能意识到的事情发生了(大概率事件发生了),则由其带来的信息量越小。)
事件发生的概率与信息量之间关系图:
后面的式子会有具体的关系,这条线是与x轴相交于(1,0)点的。
3. 由信息量想到的
假设有两个不相关的事件X、Y,x、y分别为这两个事件的取值。
这两个事件的联合信息:h(x,y) = h(x) + h(y)
这两个事件的联合概率:p(x,y) = p(x)p(y)
上面列的两个式子是有原因的,还是那句话,信息量到底多大,跟发生的事件有关,具体说跟事件发生的概率有关。
因此,h(x)跟p(x)有关,再根据上面的两个式子,h(x)肯定跟p(x)的对数有关。
两点说明:
1. 越不可能发生的事件发生了,则由其带来的信息量就越大。上式满足;
2. 底数2纯属是遵循信息论里的熵。当然,其他底也是可以的。
4. 信息熵
信息量是一具体事件发生所带来的信息;
信息熵则是一事件所有可能性产生信息量的期望。
所以,有下式子:
总结,就一句话,信息熵是一事件所有可能性产生信息量的期望。
本次参考了忆臻的机器学习算法与自然语言处理。
本次讲解了一些关于熵的通俗理解,下次会讲一些条件熵的通俗理解。
- 熵的通俗理解
- MMU的通俗理解
- 管程的通俗理解
- 傅里叶变换的通俗理解
- 计算机网络的通俗理解
- adaboost的通俗理解
- 通俗的理解Gradle
- handler的通俗理解
- 卷积的通俗理解
- 通俗的理解傅里叶变换
- docker的通俗理解
- MMU的通俗理解
- 外汇管制的通俗理解
- 通俗理解信息熵
- 通俗理解信息熵
- 通俗理解条件熵
- 通俗理解条件熵
- 通俗理解信息熵
- 程序员必须掌握的8种排序算法(八):基数排序
- Java锁的种类和区别
- SpringBoot整合Quartz-动态读取任务执行(2.2.1)
- SIM上运营商SPN(Service Provider Name)的读取
- Springboot系列文章
- 熵的通俗理解
- SpringBoot集成Rabbit使用TopicRabbit指定发送集合
- Spring之ioc操作与属性注入
- 输出100-500之间的水仙花数
- 数据库
- Hive(十八)--全局排序
- codevs 1079 回家 Floyd 解题报告
- StringBoot集成Rabbit,根据业务返回ACK
- windows环境下通过c++使用redis