机器学习若干问题物理意义——信息熵
来源:互联网 发布:hash源码 编辑:程序博客网 时间:2024/05/29 13:38
Kullback-Leibler散度(KL散度):考虑某个未知分布p(x),假定我们已经使用一个近似的分布q(x)对它进行了建模。如果使用q(x)来建立一个编码体系,用来把x的值传送给接收者,那么,由于使用q(x)而不是真实分布p(x),因此在具体化x的值时,需要一些附加信息,KL散度表示的就是所需平均的附加信息量。KL(p || q) >= 0,当且仅当p(x) = q(x)时等号成立
这个公式表示采用q(x)编码体系编码真实分布p(x)所需要的信息量
互信息:考虑由p(x,y)给出的两个变量x和y组成的数据集,如果变量的集合是独立的,则p(x,y) = p(x)p(y),如果变量不是独立的,那么我们可以通过考察联合概率分布与边缘分布乘积之间的KL散度来判断它们是否“接近”于相对独立。此时,KL散度为:
根据KL散度的性质,I[x,y] >= 0,当且仅当x和y相互独立时等号成立。进一步有,
因此我们可以把互信息看成由于知道y值而造成的x的值得不确定性的减少。
0 0
- 机器学习若干问题物理意义——信息熵
- 机器学习算法——信息熵
- 机器学习的若干问题解释
- Python机器学习——概念及其物理解释
- 机器学习基础(三)——信息、信息熵与信息增益
- 机器学习1:信息熵
- 【机器学习】信息、熵和信息增益
- [机器学习]信息&熵&信息增益
- 学习Oracle物理体系的意义
- 机器学习中的数学(2)——矩阵中心化、标准化的意义和作用
- 机器学习_决策树与信息熵
- 机器学习的意义(转载)
- [机器学习]信息熵、信息增益的概念
- 《机器学习实战》读书笔记3:信息熵和信息增益
- 卷积物理意义 几何意义
- 深入浅出解释FFT(五)——FFT结果的物理意义
- PCR的物理意义
- 特征向量物理意义
- 从0到有-如何搭建个人博客
- MySQL表的增删改查
- php-fpm进程数优化
- pyDash:一个基于 web 的 Linux 性能监测工具
- 桟的链式存储结构
- 机器学习若干问题物理意义——信息熵
- iPython/Jupyter交互环境
- LTspice introduction
- Python笔记:面向对象,类
- 计算机网络简介
- 创意趣味运动会都玩什么?
- 坑爹的公交卡充值的流程
- 字符串在对应字符串中出现的次数.
- 深度学习视频教程:深度学习进阶《算法与应用》