什么是信息熵
来源:互联网 发布:比较好的网络穿越小说 编辑:程序博客网 时间:2024/05/21 14:55
信息理论的鼻祖之一Claude E. Shannon把信息(熵)定义为离散随机事件的出现概率。
计算公式
H(x) = E[I(xi)] = E[ log(2,1/p(xi)) ] = -∑p(xi)log(2,p(xi)) (i=1,2,..n)
一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。所以,信息熵也可以说是系统有序化程度的一个度量。
变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也就越大。
0 0
- 什么是信息熵
- 什么是信息熵
- 什么是信息安全
- 什么是信息架构?
- 什么是信息安全?
- 什么是信息增益
- 什么是信息安全
- 什么是信息集成(Information Integration)
- 什么是广告信息群发软件?
- 什么是信息增益(Information Gain)
- 什么是信息安全?什么是网络安全?什么又是计算机安全?
- 什么是数据,信息,知识和智慧
- 什么是信息安全服务资质认证
- 什么是信息安全隐患、威胁、事件、策略?
- 什么是优化器统计信息?----系列二
- "什么是密码学与信息安全"的访谈
- 什么是统计信息以及收集查看方法
- 信息安全与密码学2-什么是数字签名
- hdu 4521
- [易飞]设置公用参数
- iOS开发者面试必备:10个Objective-C基础面试题
- android 绘图之Path与Paint详解
- Java集合--Map、Collections和Arrays
- 什么是信息熵
- 脚本ssh连接自动填密码(expect)
- php.ini
- libpcap包过滤-pcap_compile()
- github上面新建分支
- 为什么在 Redis 实现 Lua 脚本事务?
- 南邮 OJ 1589 开灯问题
- 5.执行非查询语句
- Grunt搭建前端开发环境