数学概念的提出(一) —— 熵的定义式 H(x)=-log2(p(x))
来源:互联网 发布:ansa.it 编辑:程序博客网 时间:2024/05/17 03:42
考虑一个离散型随机变量
- 信息量可视为“意外的程度”(degree of surprise)关于对该随机变量
x 的掌握; - 如果该事件发生了,而我们事先被告知,该事件极不可能(highly improbable)发生,将会比被告知该事件极极可能发生(very likely)获得更可能多的信息,
- 又或者当我们确定(certain)该变量会发生,且事件确实发生时,我们获得的信息是零(从信息——意外的程度,的观点来看的话)
由以上的感性判断可知:
- 信息的度量与随机变量的概率分布(
p(x) )有关,或者说取决于随机变量的概率分布(p(x) ) - 因此我们定义
h(x) 是p(x) 的单调函数, - 如果两事件
x 和y 彼此无关,因此,可知h(x,y)=h(x)+h(y) ,二者无关时,由概率论的知识可知,p(x,y)=p(x)p(y) ,
0 0
- 数学概念的提出(一) —— 熵的定义式 H(x)=-log2(p(x))
- 概念、概念的提出、概念的定义
- 数学概念的提出与演化
- Cocos2d-x中常用的宏定义(一)
- 概率论:p(x|theta)和p(x;theta)的区别
- 概率论:p(x|theta)和p(x;theta)的区别
- cocos2d-x核心概念(一)——简述
- 【c语言】【指针】设变量定义为int x,*p=&x;则&*p相当于?
- (char *)&p[x]=x
- Cocos2d-x提出了自己的多分辨率支持方案
- cocos2d-x学习笔记—几个重要的概念
- 解一类x^a = b (mod p)的方程
- X.509定义的证书
- X.509定义的证书
- getString(R.string.X,p,p)的用法
- 指针使用%p输出,区分%x与%p的区别?
- 1. 给一个有N个整数的数组S..和另一个整数X,判断S里有没有2个数的和为X,请设计成O(n*log2(n))的算法。
- 给一个有N个整数的数组S..和另一个整数X,判断S里有没有2个数的和为X,请设计成O(n*log2(n))的算法
- SpringMVC学习笔记(七)
- Sicily: ordering task(算法逐层优化)
- 有关NC65的审批二次开发
- 从长远来看,过程比结果更为关键
- 矩阵乘法
- 数学概念的提出(一) —— 熵的定义式 H(x)=-log2(p(x))
- SVN
- 操作系统概念--读书笔记之第十章文件系统接口
- 多线程如何同步
- 在C语言中,如何做到在用户输入密码时不显示密码本身,只回显星号。或者什么都不显示?
- HDU Max Sum Plus Plus DP
- 半小时精通grep的用法
- 17 Python __slots__
- malloc、realloc、calloc的用法,作用,区别,及实现原理