理解全概率公式与贝叶斯公式
来源:互联网 发布:pymongo 查询所有数据 编辑:程序博客网 时间:2024/04/29 17:16
在概率论与数理统计中,有两个相当重要的公式——全概率公式与贝叶斯公式。然而很多人对这两个公式感到非常迷茫。一来不知道公式背后的意义所在,二来不知道这些冰冷的公式能有什么现实应用。
1. 全概率公式
在讲全概率公式之前,首先要理解什么是“完备事件群”。
我们将满足
这样的一组事件称为一个“完备事件群”。简而言之,就是事件之间两两互斥,所有事件的并集是整个样本空间(必然事件)。
假设我们要研究事件A。我们希望能够求出
能不能根据这些信息,间接地求出
这当然是可以的。
我们不要忘记,
显然,
一说到两两互斥,我们就想到了概率的加法定理:2
再根据条件概率的定义,我们得到了教科书上的全概率公式:
这样费了一番周折,我们总算得到了所求的
全概率公式可以从另一个角度去理解,把
下面我们来举一个例子。
某地盗窃风气盛行,且偷窃者屡教不改。我们根据过往的案件记录,推断A今晚作案的概率是0.8,B今晚作案的概率是0.1,C今晚作案的概率是0.5,除此之外,还推断出A的得手率是0.1,B的得手率是1.0,C的得手率是0.5。那么,今晚村里有东西被偷的概率是多少?
通过阅读上述文字,我们大概对A、B、C三人有了一个初步的印象。首先,A的脑子可能有些问题,特别喜欢偷,但是技术相当烂。B看来是个江湖高手,一般不出手,一出手就绝不失手。C大概是追求中庸,各方面都很普通。
我们将文字描述转换为数学语言,根据作案频率可知
将“村里有东西被偷”记为
很简单,所求得的就是
祝这个村晚上好运吧。
2. 贝叶斯公式
有了前面的基础,我们现在先直接抛出贝叶斯公式:
这个公式本身平平无奇,无非就是条件概率的定义加上全概率公式一起作出的一个推导而已。但它所表达的意义却非常深刻。
在全概率公式中,如果将
举个例子:
假设某种病菌在人口中的带菌率为0.03,由于技术落后等等原因,使得带菌者有时也未被检出阳性反应(假阴性),不带菌者也可能会被检出阳性反应(假阳性)。有如下数据:
假如一个人被检出阳性,那么这个人带菌的概率是多少?
如果不用概率的思维,光凭感觉去想这个问题……误检率那么低,那这个带菌的可能性大概会很高吧?
我们用贝叶斯公式去实际计算一下。
结果竟然连40%都没到。
问题出在哪里?我们没有注意到,带菌率低到只有0.03,甚至比误检率还要低。也就是说,在一大批人里可以检查出一堆阳性的,而这堆阳性的人里面真正带菌的,也只是一小部分而已。
贝叶斯公式与机器学习
在机器学习中,我们经常遇到的一个问题就是分类。
我们看看维基百科上的“性别分类”问题(维基百科-朴素贝叶斯分类器)。
我们想要实现的是,通过知道一个人的身高、体重以及脚的尺寸,去判断这个人是男是女。
为了能够判断,我们当然需要一些参考数据,或者说,训练数据:
问题来了:
现有一身高6英尺,体重130磅,脚尺寸为8英寸的人,这个人是男是女呢?
这个表格看起来不够直观,我们先做一点微小的数据可视化工作:
#!/usr/bin/python3from mpl_toolkits.mplot3d import Axes3Dimport matplotlib.pyplot as pltfig = plt.figure()ax = fig.add_subplot(111, projection='3d')# 身高、体重、脚尺寸数据x = [6, 5.92, 5.58, 5.92, 5, 5.5, 5.42, 5.75]y = [180, 190, 170, 165, 100, 150, 130, 150]z = [12, 11, 12, 10, 6, 8, 7, 9]# 男性用红色园圈表示ax.scatter(x[:4], y[:4], z[:4], c='r', marker='o', s=100)# 女性用蓝色三角表示ax.scatter(x[4:], y[4:], z[4:], c='b', marker='^', s=100)ax.set_xlabel('Height (feet)')ax.set_ylabel('Weight (lbs)')ax.set_zlabel('Foot size (inches)')# 显示散点图plt.show()
尽管只有8组数据,但我们在图中也大概看了出来,似乎男女的数据点都有种“聚成一团”的感觉,这似乎是一种启示。
但是这个和贝叶斯能有什么关系呢?
我们先对前面的贝叶斯公式做一些“扩展”:
我们记
不要忘了我们要解决的问题是什么。我们所要解决的问题的本质,就是在已知
根据贝叶斯公式,得
我们的任务只是比较大小,而上式右边的分母是一个常数,不妨将其忽略掉以简化计算。这时候我们的问题就剩下如何求
我们认定
于是我们的问题就化简为了
这样就够了么?当然没有。我们还有一个严重的问题没有解决——连续随机变量。我们不能想离散随机变量那样计算
然而我们可以假设,身高、体重、脚尺寸都是正态分布。
我们分析一下样本数据的数字特征:
得到了均值与方差,也就得到了正态分布的
如此,
比如,
值得注意的是,这里求的是连续随机变量的概率密度,所以求出比1大的值也是正常的5。
剩下的
综上,我们计算可得:
从计算结果可以看出,这个人是女性的可能性远大于是男性的可能性。
如果要通过编程实现这一过程,还要考虑平滑处理,这里不再赘述。
- 如果没有想明白这一步,可以利用Venn图来帮助理解。 ↩
- 若干个两两互斥的事件之和的概率,等于各事件的概率之和,即 ↩
P(A1+A2+⋯)=P(A1)+P(A2)+⋯ - 随机事件的意思就是,在试验之前你并不知道该事件是否会在试验中发生,发生与否取决于机遇。 ↩
- 假设不同特征彼此独立,即,当有
P(y|x1,⋯,xn)=P(y)P(x1,⋯,xn|y)P(x1,⋯,xn)
我们假设P(xi|y,x1,⋯,xi−1,xi+1,⋯,xn)=P(xi|y)
所以才称作“朴素”贝叶斯(Naive Bayes)。 ↩ - 概率密度可以理解为“瞬时”的概率。对于概率密度函数,必须要满足两条性质:
(1)f(x)≥0;(2)∫∞−∞f(x)dx=1
所以只要f(x) 整体的积分为1就可以了,并不要求局部的每个值都比1小。就像δ 函数(维基百科-delta函数),虽然在0上的函数值可以大于1,但整体的积分却永远是1。 ↩
- 理解全概率公式与贝叶斯公式
- 理解全概率公式与贝叶斯公式
- 理解全概率公式与贝叶斯公式
- (转载)理解全概率公式与贝叶斯公式
- 全概率公式与贝叶斯公式
- 全概率公式与贝叶斯公式
- 全概率公式与贝叶斯公式
- 003 全概率公式与贝叶斯公式
- 贝叶斯公式,全概率公式
- 条件概率、全概率公式与贝叶斯公式
- 条件概率、全概率公式与贝叶斯公式
- 条件概率、全概率公式与贝叶斯公式
- 条件概率、全概率公式与贝叶斯公式
- 对全概率公式和贝叶斯公式的理解
- 对全概率公式和贝叶斯公式的理解
- 条件概率、全概率公式、贝叶斯公式
- 全概率公式与Bayes公式
- 条件概率 乘法公式 全概率公式和贝叶斯公式
- Google Java 编程风格指南【转载】
- 2016Android相关新技术总结
- Javascript中的闭包
- 手机页面滑动到下个页面这么写?
- Android 多进程介绍
- 理解全概率公式与贝叶斯公式
- div、p、td 的强制不换行及强制换行
- iOS异步裁切绘制圆角图形
- 欢迎使用CSDN-markdown编辑器
- 笨小猴-ssl 1587
- 浅谈Java中的hashcode方法
- C语言的各个段。
- 程序如何学习一门新技术
- 利用github pages建博客