数学基础(一)——信息熵
来源:互联网 发布:网络保护软件 编辑:程序博客网 时间:2024/05/01 06:14
信息熵的提出
信息是个很抽象的概念。人们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
直到1948年,香农提出了“信息熵”的概念,才解决了对信息的量化度量问题。信息熵这个词是C.E.香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
信息论之父 C.E.Shannon 在 1948 年发表的论文“通信的数学理论( A Mathematical Theory of Communication )”中, Shannon 指出,任何信息都存在冗余,冗余大小与信息中每个符号(数字、字母或单词)的出现概率或者说不确定性有关。
Shannon 借鉴了热力学的概念,把信息中排除了冗余后的平均信息量称为“信息熵”,并给出了计算信息熵的数学表达式。
信息熵公式的由来
通常,一个信源发送出什么符号是不确定的,衡量它可以根据其出现的概率来度量。概率大,出现机会多,不确定性小;反之就大。
不确定性函数f是概率P的单调递降函数;两个独立符号所产生的不确定性应等于各自不确定性之和,即f(P1,P2)=f(P1)+f(P2),这称为可加性。同时满足这两个条件的函数f是对数函数,即 。
0 0
- 数学基础(一)——信息熵
- 数学基础 —— 向量基础(一)
- 数据结构与算法分析(一) —— 数学基础
- 用数学诠释生命——当今生物信息与计算生物学回顾(一)
- 数学基础—ML
- 机器学习的数学基础(一)—— 期望、方差、协方差与相关系数
- python基础练习(一)——自定义函数,数学运算,命令行输入
- VLDB summer school(一)近似查询处理2——数学基础
- SPH算法简介(一): 数学基础
- 数学基础专项(一)basic problems
- SPH算法简介(一): 数学基础
- 【数学基础】取石子游戏(一)
- SLAM笔记(一)数学基础
- 程序开发之数学基础(一)
- 机器学习数学基础--(一)
- (一)数学基础篇
- 信息竞赛中的数学基础
- 数学基础 —— 向量基础(二)
- disabled使用
- 349. Intersection of Two Arrays
- android中的定时器
- Timer定时器
- 读取 android /system/build.prop 的最简单方法
- 数学基础(一)——信息熵
- Swift 如何使用Range截取字符串
- Redis 3.2.6 Sentinel部署
- 1115. Counting Nodes in a BST (30)
- JKTEBOP在Windows下的运行
- 指针作为函数返回值
- 制作多功能播放器
- <script>标签 async与defer详解
- tensorflow 最小二乘拟合详细代码注释