熵_信息论

* 随机变量

* 随机矢量

* 随机矢量的实例

* 矩阵

* 概率密度函数

* 概率分布函数

* 边缘概率

* 联合概率

* 条件概率

* 条件分布

* 概率分布

* 概率密度

 

**************************************************************************************************************************************

* 熵

http://zh.wikipedia.org/zh-cn/%E7%86%B5_(%E4%BF%A1%E6%81%AF%E8%AE%BA)

 

*  条件熵

* Kullback-Leiber divergence

* Cross-entropy

* Mutual information

* Sigmoid

* Bernoulli

 

********************************************************************************************************************************************

* 保留最大信息