朴素贝叶斯(naive bayes)
来源:互联网 发布:王思聪 霍顿 知乎 编辑:程序博客网 时间:2024/04/29 07:12
- 一训练
- 二分类
- 三参数估计
- 极大似然估计
- 贝叶斯估计
- 属性为连续值
- 四优缺点
- 参考文献
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出概率最大的输出概率y。1
一.训练
设输入空间
先验概率分布:
条件概率分布:
朴素贝叶斯法对条件概率分布做了条件独立性的假设:
条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单,但有时也会牺牲一定的分类准确率。
二.分类
朴素贝叶斯法分类时,对于给定的输入x,通过学习到的模型计算后验概率分布
将式(2)代入式(3)有:
注意到对于所有的类
三.参数估计
1. 极大似然估计
在朴素贝叶斯法中,学习意味着估计
先验概率
上式的含义是类标记为
设第j个特征
2. 贝叶斯估计
用极大似然估计可能会出现所要估计的概率值为0的情况,这时会影响到后验概率的计算结果,使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。
条件概率的贝叶斯估计是
式中
先验概率的贝叶斯估计是
3.属性为连续值
当属性为连续值时,无法直接通过统计得到属性的条件概率。可以假设每个属性都服从高斯分布,分别计算出每一个类别每个属性的平均值和标准差。
四、优缺点
- 对小规模数据表现很好,适合多分类任务,适合增量式训练
- 对输入数据的表达形式很敏感(连续、离散)
参考文献
- 李航,统计学习方法,第四章 ↩
0 0
- Naive Bayes朴素贝叶斯
- 朴素贝叶斯(Naive Bayes)
- 朴素贝叶斯(naive bayes)
- 朴素贝叶斯(naive bayes)
- 2.朴素贝叶斯Naive Bayes
- 朴素贝叶斯(Naive-Bayes)介绍
- 朴素贝叶斯(naive Bayes)
- Naive Bayes 朴素贝叶斯算法
- 朴素贝叶斯(Naive Bayes)
- 朴素贝叶斯入门---Naive Bayes
- 朴素贝叶斯(Naive Bayes)
- Naive Bayes(朴素贝叶斯)
- 朴素贝叶斯(Naive Bayes),“Naive”在何处?
- 分类:朴素贝叶斯(Naive Bayes)
- 朴素贝叶斯分类器 Naive Bayes Classifier
- 朴素贝叶斯(NB,Naive Bayes)简介
- 朴素贝叶斯算法(naive Bayes algorithm)
- 朴素贝叶斯 Naive Bayes in Python
- MySQL 记录被删除之后 AUTO_INCREMENT 值被复用问题分析
- java集合遍历
- 微信小程序入门学习
- GCD 死锁
- 近些年关于物联网安全事件
- 朴素贝叶斯(naive bayes)
- 一个拉选框的制作
- 嵌入式Linux系统时间设置
- 运动目标检测(GMM、Code Book、Vibe)
- JavaDto对数据的封装
- iOS知识点六
- nginx功能(3)--浏览器本地缓存
- 两个activity共享数据的另一种方法(个人学习笔记)
- ABAQUS不收敛如何解决