李航《统计学习方法》第4&9章 朴素贝叶斯分类器&EM算法
来源:互联网 发布:hedge fund数据哪里来 编辑:程序博客网 时间:2024/06/07 02:56
朴素贝叶斯(naive Bayes)定义
- 基本假设
输入x为n维向量,输出y取值在{c1,…,ck}K个值范围内,训练集样本个数N,假设样本独立同分布,且
特征条件独立 。具体的:P(X=x|Y=ck)=P(X(1)=x(1),…,X(n)=x(n)|Y=ck)=∏nj=1P(X(j)=x(j)|Y=ck)
由于这一假设,朴素贝叶斯的学习大为简化,但对分类性能有一定影响
- 学习参数
用极大似然估计来学习先验概率分布P(Y=ck) 以及条件概率分布P(X=x|Y=ck)=P(X(1)=x(1),…,X(n)=x(n)|Y=ck) 。具体的:P(Y=ck)=∑Ni=1I(yi=ck)N,k=1,2,…,K
假设第j个特征x(j) 的可能取值为{a_{j1},…a_{jS_j}},其中l = 1,2,…,Sj P(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)∑Ni=1I(yi=ck),k=1,2,…,K - 进行预测
利用 贝叶斯定理 求后验概率P(Y=ck|X=x)=P(Y=ck)∫nj=1P(X(j)=x(j)|Y=ck)∑kP(Y=ck)∏nj=1P(X(j)=x(j)|Y=ck)
另该 后验概率 最大的y就是我们需要的结果y=argmaxckP(Y=ck)∏nj=1P(X(j)=x(j)|Y=ck)
i.e.经验风险最小化
贝叶斯估计 不等于 朴素贝叶斯
贝叶斯估计
用极大似然估计可能会导致求出的先验概率和条件概率取值为0,这时分类会产生偏差
解决方法是采取贝叶斯估计,贝叶斯估计中的先验概率和条件概率的计算中加入了一个
如果特征条件不独立,存在概率依赖关系,模型就变成了贝叶斯网络
贝叶斯网络
EM算法是一种求解贝叶斯网络的算法,将在第九章介绍
0 0
- 李航《统计学习方法》第4&9章 朴素贝叶斯分类器&EM算法
- 统计学习方法 李航---第9章 EM算法及其推广
- 统计学习方法 第4章 朴素贝叶斯法
- 统计学习方法 李航---第4章 朴素贝叶斯法
- 李航《统计学习方法》读书笔记(1):朴素贝叶斯分类
- 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集)
- 统计学习方法 第4章 朴素贝叶斯法 习题答案
- 《统计学习方法,李航》:9、EM算法及其推广(1)
- 《统计学习方法,李航》:9、EM算法及其推广(2)
- 统计学习方法--朴素贝叶斯
- 统计学习方法第四章朴素贝叶斯法-李航
- 《统计学习方法,李航》:4、朴素贝叶斯法
- 《统计学习方法》笔记(4):朴素贝叶斯
- 统计学习方法(4)——贝叶斯分类算法
- 机器学习方法:朴素贝叶斯分类
- 统计学习方法:朴素贝叶斯方法
- 统计学习方法笔记-朴素贝叶斯
- 统计学习方法 4-朴素贝叶斯法
- colorful i106q装安卓系统
- Linux下的进程控制块—task_struct
- okhttp 使用完全解析
- SDUT 2143 图结构练习——最短路径
- Hive分区表添加分区时的注意事项
- 李航《统计学习方法》第4&9章 朴素贝叶斯分类器&EM算法
- TextView中ellipsize属性
- 新手向:五分钟搭建App设置页面_纯代码 + 模型思想(OC)
- JavaScript-DOM和jQuery(初级入门)
- HDU 1548 A strange lift (BFS)
- 【小技巧】文本编辑器Notepad++(v6.9)中Tab设置成4个空格
- mysql数据库创建表
- Spring Task cron的表达式
- opencv内demo(find_obj.cpp)理解