Chapter 11: Sampling Methods
来源:互联网 发布:淘宝神经猫 编辑:程序博客网 时间:2024/06/01 15:33
一:Introduction
1:我们在做推理时,主要想要解决的是在后验概率
2:为了解决上述问题,抽样方法(sampling method)的观点是从分布
3:上述抽样方法的问题在于以下两点:第一点是提取的样品
二:Basic Sampling Algorithms
1:Standard distributions
1):假设我们有一个单变量z,其在(0,1)区间内均匀分布,同时我们想要从单变量分布p(y)中y的提取样品值,首先
然后
2):对于多变量分布,我们则有以下关系式:
3):很明显该提取样品的方法需要目标概率分布的不确定积分很容易计算,以及对应的逆函数也很容易计算,因此该提取样品的方法只对有限数目的概率分布适用。
2:Rejection sampling
1):我们想要从概率分布
2):从q(z)中提取的样品被接受的概率:
因此为了提高样品接受率,我们需要使得k在满足
3):Rejection sampling方法有如下几个缺点:第一个是在实际情况下一个好的proposal distribution和comparsion function是比较难找到的;第二个是随着输入变量维数的增加,样品接受率呈指数下降。因此rejection sampling方法虽然在一维或两维情况下是一个比较好的方法,但是不适合求解高维问题,然而该方法能够在求解高维问题中扮演一个子程序的角色。
3:Importance sampling
1):Importance sampling解决的是怎么去近似
2):类似于Rejection sampling,Importance sampling同样要求要有一个易于抽样的proposal distribution
3):Importance sampling方法成功的关键在于proposal distribution
4:Sampling-importance-resampling(SIR)
1):类似于Rejection samplinging,SIR也要求要有一个易于抽样的分布
可以证明:在L趋于无穷大情况下,最终提取的L个样品服从的分布是
2):如果我们只是需要计算
5:Sampling and the EM algorithm
1):EM算法的E步骤
M步骤按照通常的方法最大化Q函数,这称之为Monte Carlo EM algorithm;
2):在上面获得的Q函数中增加一项
三:Markov Chain Monte Carlo(MCMC)
1: Introdcution to MCMC
1):像之前一样,假设要抽样的分布
2):MCMC方法大致思路如下:假设现在有了一个目前的抽样态
3):在Metropolis算法中,假定proposal distribution
4):我们应注意到在MCMC方法中,未来的样品态是条件在目前样品态中才得到的,目前的样品态是条件在过去的样品态中才得到的,所以我们获得的样品集合
2: Markov chains
1):对于一系列随机变量
该公式意味着如果条件着系统目前的态,则系统未来的态和过去的态是独立不相关的;
2):Markov chain结点变量的边际概率能够被表达成如下形式:
3):使得概率分布
4):当我们使用Markov chain从某一个概率分布
5):实际中,我们经常利用一系列’base’ transitions
四:Gibbs Sampling
1:Gibbs sampling是一个简单但被广泛使用的Markov chain Monte Carlo算法,其过程如下:
(1):初始化
(2):对于
- 从
p(z1|z2(τ),z3(τ),...,zMτ) 中提取样品z1(τ+1) - 从从
p(z2|z1(τ+1),z3(τ),...,zMτ) 中提取样品z2(τ+1) - …
- 从
p(zj|z1(τ+1),...,zj−1(τ)+1,zj+1(τ)...,zMτ) 中提取样品zj(τ+1) - …
- 从
p(zM|z1(τ+1),z2(τ+1),...,zM−1τ+1) 中提取样品zM(τ+1)
2:Gibbs sampling的应用性依赖于从条件分布
- Chapter 11: Sampling Methods
- 第11章:Sampling methods exercise 1-14
- Chapter 6:Kernel Methods
- Example 2 : Multi Sampling And Filtering Methods
- Monte Carlo Sampling Methods-- 蒙特卡洛采样方法
- PRML读书会第十一章 Sampling Methods(MCMC, Markov Chain Monte Carlo,Metropolis-Hastings,Gibbs Sampling)
- Sampling
- Chapter 13. Miscellaneous PerlTk Methods PerlTk 方法杂项:
- METHODS
- Methods
- Methods
- Qt5官方demo解析集16——Chapter 2: Connecting to C++ Methods and Signals
- Chapter 11 Exceptions
- !!!Chapter 11 Generic Algorithms
- Chapter 11 线程
- !!!Chapter 11 Amortized Analysis
- chapter 11 Data Structures
- note_practical_c_programming chapter 11
- 怎样理解阻塞非阻塞与同步异步的区别?
- 基本数据类型知识汇总
- Centos7 JDK7安装配置
- 编程的趣味函数
- springmvc入门基础之注解和参数传递
- Chapter 11: Sampling Methods
- centos6.5 安装 ffmpeg
- 先于服务器端的Android开发,基于mock和fiddler(win)和whistle(linux)
- 欢迎使用CSDN-markdown编辑器
- poj2566(尺取模型)
- ASP.NET缓存总结
- 工作地址收藏夹
- 事件
- Android Studio 快速跳转到XML布局界面