统计学习方法——朴素贝叶斯
来源:互联网 发布:mysmartcamera监控软件 编辑:程序博客网 时间:2024/06/06 21:39
0.写在前面
朴素贝叶斯实际上是非常简单的一种机器学习方法,我们在之前的很多地方都讲过了,所以这里我们不再阐述具体的原理,可以移步:朴素贝叶斯。
但是,对于讨论班里,争论最多的就是课后的2个习题,因此,我们重点放在这两个习题上。他们分别是:
4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式(4.8)及公式(4.9)。
4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式(4.10)及公式(4.11)。
1. 极大似然估计法
极大似然估计方法是非常常见的估计方法(MLE)。而这里的公式4.8和公式4.9分别是:
这里的4.9我简化了一下,其实道理都是一样的,那个j只不过是表示第几个特征。
那么我们怎么推呢,首先我们来推公式4.8。
目的式:
为了方便计算,我们令
我们想求的是极大似然函数值,那么这就是求极值的问题,而这个又有一个约束条件:
于是,我们就可以使用拉格朗日乘子法来解决带有约束条件的极值问题。
不知道大家还记得拉格朗日乘子法怎么做么。首先就是把约束条件作为其中一项,然后乘以
对于这题,我们的似然函数是:
取对数,称为对数似然函数,结果为:
最终的拉格朗日乘子法得到的函数为
那么求导:
我们先对每一个
同样的,具有条件概率的写法也是如此。
我们假设:
则似然函数:
同样的,取似然估计以后,得出的结论和之前的一样,因此我们也会得出相同的结论:
2. 贝叶斯估计法
对于第二题,我想,大家应该知道贝叶斯公式:
其实如果上下都约掉N就可得:
看过这篇语言模型的同学都会知道,这里是为了防止0概率的出现而设置的数据平滑处理:
同样的4.11也是一样可以得到,这里就不赘述了。
3. 极大似然估计与贝叶斯估计的不同。
贝叶斯估计与极大似然估计的一个主要不同就在于,贝叶斯估计有一个先验概率,而极大似然估计没有,准确说是每种可能的先验估计都相等,也就忽略了。
但是贝叶斯的先验估计也并非是一直准确的,如果对于先验估计有一个很透彻的了解,那么贝叶斯估计应当是比较好用的。但是实际上,很多情况下,我们并不知道先验概率分布,这就导致很多时候,先验概率分布也是一种猜测,猜得对了,效果好,猜的不对,效果就不好。
有的说,极大似然估计是对点估计,而贝叶斯估计是对分布估计。我觉得其实是差不多的。
- 统计学习方法——朴素贝叶斯
- 统计学习方法--朴素贝叶斯
- 统计学习方法第四章笔记——朴素贝叶斯
- 《统计学习方法》笔记——朴素贝叶斯算法
- 统计学习方法——第四章朴素贝叶斯
- 统计学习方法:朴素贝叶斯方法
- 统计学习方法笔记-朴素贝叶斯
- 《统计学习方法》学习笔记(四)——朴素贝叶斯法
- 《统计学习方法》笔记(五)--朴素贝叶斯
- 《统计学习方法》笔记(4):朴素贝叶斯
- 统计学习方法--朴素贝叶斯 python实现
- [统计学习方法]朴素贝叶斯法
- 统计学习方法---朴素贝叶斯法
- 李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器(MNIST数据集)
- 统计学习方法 4-朴素贝叶斯法
- 《统计学习方法》 朴素贝叶斯 贝叶斯估计 Python实现
- 《统计学习方法》+朴素贝叶斯算法+C++代码(简单)实现
- 统计学习方法笔记(四)朴素贝叶斯方法
- 按下done退出键盘,点击空白退出键盘
- C++中new和不new的区别
- VS下的FILE型结构体
- python脚本执行时报ImportError: No module named MySQLdb的处理
- Android 性能优化(三)布局优化 秒变大神
- 统计学习方法——朴素贝叶斯
- (java)工厂模式和策略模式
- Servlet(12)连接数据库并显示用户列表
- pl/sql中建用户
- 基础篇:线程间的协作之生产者与消费者(十)
- HDU 1698 Just a Hook(线段树---区间更新)
- 关于c/c++语言的EOF
- C语言概述(5)
- 经典查找算法