机器学习之相对熵
来源:互联网 发布:win8风格网站源码 编辑:程序博客网 时间:2024/06/06 02:48
1.熵(信息熵)的定义:不妨把信息熵理解成某种特定信息的出现概率(离散随机事件的出现概率)。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。如果一个随机变量的可能取值为,对应的概率为,则随机变量的熵定义为
。
2.相对熵:又称互熵,交叉熵,鉴别信息,Kullback熵,Kullback-Leible散度(KL散度)等。设和是取值的两个概率概率分布,则对的相对熵为
。
在一定程度上,熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量,所以相对熵有非对称性。典型情况下,P表示数据的真实分布,Q表示数据的理论分布,模型分布,或P的近似分布。
3.相对熵的性质:
a.非对称性:相对熵直观上理解是个距离度量或距离函数,但它并不是一个真正的度量或者距离,因为它不具有对称性,即
;
b.非负性:即
,
可以通过吉布斯不等式来证明,
4.相对熵的应用:相对熵是比较两个概率分布的距离(相似度),因此可以用于文本相似度的计算;还可以用于权重指标的分配。
1 0
- 机器学习之相对熵
- 机器学习笔记——相对熵 交叉熵
- 机器学习基础1-熵,相对熵,交叉熵、香农熵
- 机器学习系列之最大熵模型
- 机器学习笔记最大熵之NER
- 机器学习笔记之三: 熵
- 机器学习基础(五十八)—— 香农熵、相对熵(KL散度)与交叉熵
- Android学习知识点之相对布局
- Linux学习笔记(1)之相对、绝对路径
- Android 学习 (七) 之相对布局
- kshon学习笔记之android相对布局
- Android学习-五布局之相对布局
- 机器学习之PCA
- 机器学习之KNN2
- 机器学习之路
- 机器学习之决策树
- 机器学习之路
- 机器学习之AdaBoost
- 问题六十八:BRDF——(着色模型(shading model)(1)——反射模型(reflection model)(3.2))
- 凸包算法
- RecyclerView的使用
- hiho一下 第117周 #1393 : 网络流三·二分图多重匹配 【网络流--增加源点-汇点 Ford-Fulkerson算法】
- android:screenOrientation属性
- 机器学习之相对熵
- weex官方demo weex-hackernews代码解读(1)
- 78. Subsets ,90. Subsets II(待研究)---位运算法(重要和Combination Sum一系列的题目类似)
- Windows Error 错误代码全解
- PopWindow Android 7.0 位置显示不准确解决办法
- CSS选择器的学习(续)和样式基础知识点
- iOS Camera(1)
- 第三十章 SpringBoot访问应用参数
- LeetCode-28. Implement strStr()