学习笔记9.25
来源:互联网 发布:如何用微信付款淘宝 编辑:程序博客网 时间:2024/05/23 19:20
信息增益
参考周志华老师的机器学习这本书,学习了信息增益的内容:
“信息熵”是度量样本集合纯度最常用的一种指标。假设当前样本集合中第
假定离散属性
一般而言,信息增益越大,则意味着使用属性
互信息
根据维基百科的定义:一般地,两个离散随机变量
在连续随机变量的情形下,求二重积分
直观上,互信息度量 X 和 Y 共享的信息:它度量知道这两个变量其中一个,对另一个不确定度减少的程度。例如,如果 X 和 Y 相互独立,则知道 X 不对 Y 提供任何信息,反之亦然,所以它们的互信息为零。在另一个极端,如果 X 是 Y 的一个确定性函数,且 Y 也是 X 的一个确定性函数,那么传递的所有信息被 X 和 Y 共享:知道 X 决定 Y 的值,反之亦然。因此,在此情形互信息与 Y(或 X)单独包含的不确定度相同,称作 Y(或 X)的熵。而且,这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。)
阅读全文
0 0
- 学习笔记9.25
- 学习笔记?
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- 学习笔记
- Source Insight 3.5 序列号分享
- Java迭代器模式
- 小程序 基础组件
- HDU 1013 Digital Roots
- tcp粘包问题
- 学习笔记9.25
- 項目回顧
- python对json的操作总结
- 《30天自制操作系统》 day01
- 第三周 项目4 顺序表应用(一)
- [BZOJ]2741: 【FOTILE模拟赛】L 可持久化Trie+分块
- Android 音频采集
- MUI-首页tab选项卡切换功能
- java 将字符串写入到文本文件