理解信息熵
来源:互联网 发布:淘宝买的演唱会票真吗 编辑:程序博客网 时间:2024/04/28 20:05
什么是信息熵?信息的作用是消除人们对事物的不确定性,而信息熵则是对信息这一作用的一种定量表示。信息熵由香农(Claude E. Shannon)提出,其计算公式为:
H(x) = -∑(p(xi)log(2,p(xi))) (i=1,2,..,n),
其中,x表示信息,xi (i=1,2,..,n)表示x的各种可能取值,p(xi)表示x取值为xi的概率。
为了更好地理解信息熵,考虑下面的例子。
情况一 Bob喜欢Lily,在两人交往过程中Lily也向Bob表示好感,Bob虽然不确定Lily是否喜欢自己,但是有理由认为Lily十有八九也是喜欢自己的。然后,Lily将自己喜欢或不喜欢Bob的想法告诉了她的朋友Lucy。这样,Bob就可以从Lucy处获得Lily是否喜欢自己的信息。
情况二 与情况一类似,Bob喜欢Lily,但由于两人交往时间较短,Bob完全不确定Lily是否也喜欢自己。同样地,Lily随后将自己喜欢或不喜欢Bob的想法告诉了她的朋友Lucy。这样,Bob就可以从Lucy处获得Lily是否喜欢自己的信息。
比较在这两种情况中Bob从Lucy处获得的信息,哪一种情况的信息量更大?常识告诉我们情况二的信息量更大。下面我们分别计算两种情况的信息熵,通过比较信息熵的大小来验证这一常识。
H(情况一的信息) = -( p(喜欢)log(2,p(喜欢)) + p(不喜欢)log(2,p(不喜欢)) ) = -( 8.5/10 * log(2,8.5/10) + 1.5/10 * log(2,1.5/10) ) = 0.61H(情况二的信息) = -( p(喜欢)log(2,p(喜欢)) + p(不喜欢)log(2,p(不喜欢)) ) = -( 5/10 * log(2,5/10) + 5/10 * log(2,5/10) ) = 1.00
情况二的信息的信息熵大于情况一的信息的信息熵,可见信息熵是能够反映常识的。
最后总结:越是具有普遍性的信息其信息量越小。
- 理解信息熵
- 信息熵的理解
- 通俗理解信息熵
- 通俗理解信息熵
- 通俗理解信息熵
- 信息熵的理解
- 信息熵理解
- 信息熵与信息增益的理解
- 信息熵的直观理解
- 信息熵的直观理解
- 对信息熵与信息增益的初步理解
- 对于熵和信息增益的理解
- 决策树之信息熵的理解
- 深入理解--信息熵(Information Entropy)
- SQLServer统计信息理解
- 信息增益的理解
- 通俗理解决策树中的熵&条件熵&信息增益
- 信息熵,条件熵,互信息的通俗理解
- ICCV2013 录用论文(目标跟踪相关部分)
- NSNotificationCenter 的详细说明
- printf格式化输出
- jquery遍历json
- 关注的计算机视觉研究组和个人主页列表
- 理解信息熵
- eval笔记
- 数据类型问题
- STL(4)adjacent_find函数
- rsync同步常用命令
- Tomcat version 6.0 only supports J2EE 1.2, 1.3, 1.4, and Java EE 5 Web modules
- 在listview中添加bitmap位图的方法
- 四大图像库:OpenCV/FreeImage/CImg/CxImage
- 简易解析ajax,javascript-XMLHttpRequest,解决乱码问题