统计学习方法 李航---第4章 朴素贝叶斯法
来源:互联网 发布:搜狐自媒体 seo 编辑:程序博客网 时间:2024/06/06 00:15
第4章 朴素贝叶斯法
朴素贝叶斯 (naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出Y。
4.1 朴素贝叶斯法的学习与分类
基本方法
朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布
下先验概率分布及条件概率分布。P(X,Y)。
具体地,学习以
先验概率分布
条件概率分布
条件概率分布有指数级数量的参数,其估计实际是不可行的。朴素贝叶斯法对条件概率分布作了条件独立性的假设。条件独立性假设是说用于分类的特征在类确定的条件下都是条件独立的。
朴素贝叶斯法实际上学习到生成数据的机制,所以属于生成模型。
朴素贝叶斯法通过最大后验概率(MAP)准则进行类的判决,基于贝叶斯定理,后验概率为:
分母相同,则分类器可表示为
后验概率最大化等价于0-1损失函数时的期望风险最小化。
4.2 朴素贝叶斯法的参数估计
极大似然估计
先验概率的极大似然估计:
设第j个特征x(j)可能取值的集合为,条件概率的极大似然估计:
总结算法:
贝叶斯估计
用极大似然估计可能会出现所要估计的概率值为0的情况,使分类产生偏差,解决这一问题的方法是采用贝叶斯估计。条件概率的贝叶斯估计为:
式中lamda>=0。等价于在随机变量各个取值的频数上赋予一个正数。常取lamda=1,称为拉普拉斯平滑( Laplace smoothing)。同样,先验概率的贝叶斯估计为:
来自为知笔记(Wiz)
0 0
- 统计学习方法 第4章 朴素贝叶斯法
- 统计学习方法 李航---第4章 朴素贝叶斯法
- 统计学习方法 第4章 朴素贝叶斯法 习题答案
- 统计学习方法第四章朴素贝叶斯法-李航
- 《统计学习方法,李航》:4、朴素贝叶斯法
- 统计学习方法 4-朴素贝叶斯法
- 李航《统计学习方法》第4&9章 朴素贝叶斯分类器&EM算法
- [统计学习方法]朴素贝叶斯法
- 统计学习方法---朴素贝叶斯法
- 统计学习方法笔记,第四章朴素贝叶斯法
- 统计学习方法 李航---第1章 统计学习方法概论
- 统计学习方法 李航---第12章 统计学习方法总结
- 统计学习方法 李航---第1章 统计学习方法概论
- 四、朴素贝叶斯法--统计学习方法总结
- 统计学习方法读书笔记--4.朴素贝叶斯法
- 李航统计学习方法-朴素贝叶斯法
- <统计学习方法>3 朴素贝叶斯法(Naive Bayes)
- 《统计学习方法》笔记(4):朴素贝叶斯
- snat.txt
- jstack(查看线程)、jmap(查看内存)和jstat(性能分析)命令
- 统计学习方法 李航---第3章 k近邻法
- 浅谈Windows10
- squid.conf.txt
- 统计学习方法 李航---第4章 朴素贝叶斯法
- 统计学习方法 李航---第5章 决策树
- 统计学习方法 李航---第6章 逻辑回归与最大熵模型
- 彻底搞清计算结构体大小和数据对齐原则
- 统计学习方法 李航---第7章 支持向量机
- STAGE1能不能直接引导放在文件系统中的STAGE2.txt
- 怎样解决MySQL数据库主从复制延迟的问题(最后一个解决方案)
- 程序员的英语学习月末总结
- 统计学习方法 李航---第8章 提升方法