概率分布
来源:互联网 发布:mac rebel试色 编辑:程序博客网 时间:2024/05/16 17:52
概率分布
- 概率分布
- 相关基础知识
- 贝叶斯定理
- 二项分布与贝塔分布
- 伯努利分布
- 二项分布
- 贝塔分布
- 多项分布与狄利克雷分布
- 多项分布
- 狄利克雷分布
- 高斯分布
- 熵
- 高斯分布
- 泊松分布
- 拉普拉斯分布
- 学生t分布
- 相关基础知识
相关基础知识
贝叶斯定理
贝叶斯定理也称贝叶斯推理。它用于将先验概率转化为后验概率,也就是我们先知道一件事情发现的概率p(x)(先验概率),然后根据条件概率p(y|x)观察到一定数量的事件y(条件概率),最后再重新估计一下这件事情发生的概率p(x|y)(后验概率)。具体的数学公式如下:
我们可以这样理解,一开始没有具体的数据,我们人为去猜想事件x发生的概率是p(x),然后开始做一堆实验,得到一些真实数据y,然后现在有了数据,再去修正一下之前猜想的概率,这样就实现了先验转后验p(x)->p(x|y)。
举个栗子:现在我想知道一枚硬币正反面朝上的概率是多少,现在还没做实验我们认为正反两面出现的概率分别是
如果是偏频派,就不会关心先验,直接根据实验结果得出
二项分布与贝塔分布
伯努利分布
考虑一个二元随机变量
这被称为是伯努利分布(Bernoulli distribution),均值和方差分别是
二项分布
接着上面的伯努利分布,如果我们做了
它的期望和方差分别是
贝塔分布
根据上面的推导,当给定数据集的情况下,我们就可以根据最大似然估计出
其中参数a与b被称为超参(hyperparameter),可以理解为是参数的参数。
且伽马函数很重要的一个性质是
根据贝叶斯定理,我们将Beta先验与二项分布相乘就可以得到参数
我们现在可以发现这仅仅是另一个Beta分布,因此Beta分布可以称为是二项分布的贝叶斯版本。
多项分布与狄利克雷分布
多项分布
如果我们的变量的取值不止0与1这两种情况,而是可以取得K个不同的值,即
狄利克雷分布
多项分布对应二项分布,相对应地,狄利克雷分布(Dirichlet distribution)对应着贝塔分布,狄利克雷分布是多项分布的共轭先验,是多项分布的贝叶斯版本。公式为:
其中
高斯分布
熵
变量
当
高斯分布
高斯分布(Gaussian distribution)应该是大家最熟悉的分布了,表示的是连续变量的概率分布。
我们从熵中把高斯分布推导出来。变量
第一个条件保证概率的和为1,其余两个确定概率的期望和方差,若没有后两个限制条件,所求得的概率分布将是均匀的。我们现在确定一个期望,保证分布有一个峰值。以及一个方差,表示变量的离散程度。在满足这三个限制条件的情况下最大化熵所求得的分布就是高斯分布。因此,有一些算法说最大熵xxx算法,其实就是假设算法中的变量或参数服从高斯分布,因为高斯分布是是在确定期望与方差的情况下熵最大的分布,比如最大熵隐马尔可夫就是假设了条件概率服从高斯分布。求解这个熵是凸优化中的带约束的求解问题,可以使用使用拉格朗日乘数法通过求解原问题的对偶问题找到一个近似解。
我们使用变分法求解上面的泛函,我们现在假设
我们可以得到:
根据:
我们可以得到(位对应):
代入三个约束条件后可以得到:
最终结果是高斯分布:
泊松分布
泊松分布(Possion distribution)是最重要的离散分布之一,经常用于表示随机变量x在一定时间或空间内出现时间的次数。和二项分布不同的是,泊松分布适合实验次数多且时间发生的概率很低的情况,比如某段时间路口发生交通事故次数的概率,但泊松分布可以通过二项分布推出,我们先设二项分布:
泊松分布可以近似地看成是离散变量的高斯分布,且均值和方差都是
拉普拉斯分布
拉普拉斯分布(Laplace distribution)是一个有长尾的分布,和高斯分布有点像,只是峰值更尖且尾更长。
其中,它的期望和方差分别是
学生t分布
高斯分布与拉普拉斯分布都容易受到奇异点的影响,学生t分布(Student’s t distribution)拥有比它们更好的鲁棒性。
其中,它的期望和方差分别是
- 概率分布
- 概率分布
- 概率分布
- 概率分布
- 概率分布-beta分布
- 概率分布-二项分布、多项分布
- 概率分布之共轭分布
- 概率分布-泊松分布
- 条件概率分布与边缘概率分布
- 概率空间与概率分布
- 概率分布(多项分布,Dirichlet分布)
- 标准概率分布
- 股票价格累积概率分布
- 概率分布的近似
- 2 概率分布
- 概率论:常见概率分布
- 联合概率分布
- 几种概率分布
- 把从SQList查询的数据显示到屏幕上
- 调整数组顺序使奇数位于偶数前面
- 安卓开发 第四篇 我的安卓应用架构设计-----Presenter类
- jQuery.validate表单验证
- echart地图使用一例
- 概率分布
- ZOJ 3936Apples and Ideas
- kmp算法入门,同学写的
- Java代码重构第一步
- 一些常用python预处理方法
- 基数排序
- winCE版本
- 训练2 习题2
- SSH+Tomcat+MySQL项目搭建