统计学习方法读书笔记(四)
来源:互联网 发布:如何自建cdn源码 编辑:程序博客网 时间:2024/05/22 12:14
朴素贝叶斯法的学习与分类
基本方法:
假设输入空间是n维向量的集合,输出空间x是定义在输入空间X上的随机变量,y是定义在输出空间Y的随机变量,P(X,Y)是X,Y的联合分布。朴素贝叶斯就是通过训练数据集学习联合分布。实质就是学习先验概率和条件概率。先验概率如下:.
条件概率如下:
。通过这种方式就学习到了联合概率分布。
朴素贝叶斯法对条件概率做了独立性的假设,具体独立性假设如下:
对于给定的输入x,通过学习到的模型计算后验概率分布,将后验概率最大的类作为x的类输出,后验概率计算根据贝叶斯定力进行。
贝叶斯定理:
。
将独立性假设带入贝叶斯定理,最后可得如下:
。
朴素贝叶斯分类器如下:
由于对所有的Ck,分母都是相同的,所以上式可以简化为:
。
朴素贝叶斯法的参数估计。
极大似然估计:
先验概率的极大似然估计是:
。
设第j个特征可能取值的集合为,条件概率的极大似然估计是:
。I是指示函数。
学习与分类算法:
输入:,
输出:实例x的分类。
1.计算先验概率和条件概率:
2.对于给定的实例,计算:
。
3.确定x的类别:
这就是朴素贝叶斯算法的整个过程。
当然,用极大似然估计法可能出现概率值为0的情况,这是会影响后验概率的计算,为解决这一问题,引入拉普拉斯平滑(Laplace smoothing).
具体过程请参照如下博客:
https://zhuanlan.zhihu.com/p/26329951。
下一篇:决策树。
如有错误,欢迎批评指正。
阅读全文
0 0
- 统计学习方法读书笔记(四)
- 统计学习方法(四)
- 统计学习方法读书笔记(一)
- 《统计学习方法》读书笔记(一)
- 统计学习方法读书笔记(一)
- 统计学习方法读书笔记(二)
- 统计学习方法读书笔记(三)
- 统计学习方法笔记(四)
- 统计学习方法第一章读书笔记
- 统计学习方法读书笔记-knn
- 统计学习方法-读书笔记
- 统计学习方法读书笔记
- 统计学习方法读书笔记--概论
- 统计学习方法 -- 读书笔记
- 统计学习方法读书笔记-概论
- 决策树小结----统计学习方法读书笔记
- 《统计学习方法》读书笔记part A
- 李航《统计学习方法》读书笔记(1):朴素贝叶斯分类
- 2017/12/15
- Banner轮播
- 设置ip代理
- vue在旧项目中的使用(不用npm安装)
- Maven学习 使用Nexus搭建Maven私服
- 统计学习方法读书笔记(四)
- 在1-10中随机生成5个数不重复。
- Mysql函数
- 02.ARM-mini2440-GPIO操作-led_on_c
- debain9 修改静态ip地址
- iView的初步探索
- RecycleView的使用
- Altium Desinger怎么走蛇形线
- 解决WordPress项目添加插件需要ftp账号验证