Laplace近似后验概率

Laplace近似就是使用正态分布来近似连续变量概率密度函数。

lnf(z)≅lnf(z0)−12A(z−z0)2A=−d2dz2lnf(z)∣z=z0

1 非共轭的先验概率

在很多时候在我们建立的概率模型中的先验概率是不存在共轭后验的，
例如，考虑一个模型

Xi∼g(xi|θ)=θ(θ+1)x(θ−1)i(1−xi)，θ>0

，对于这个模型来说，并没有任何的prior可以找到共轭分布，因为θ>0 所以把θ 的先验选作Gamma分布。
这时后验分布，

这时，p(θ|x)很难计算。

２ Laplace近似

设θ^是pdf h(θ)的最大值点，所以它也是q(θ)=logh(θ)的最大值点，那么，对q(θ)二阶泰勒展开可得：

其中a~=θ^，b~2={−q¨(θ^)}−1，注意等式右面的第二部分形式恰好是N(a~,b~2)的对数形式，因此h(θ)≈N(a~,b~2)。
Laplace近似形式很简单，对近似的函数的要求就是二阶可导，且最最大点处 peaks well，而且近似过程中我们也只需要知道最大点θ^和q¨(θ^)。
例子：




假设，n=20,Σi=1logXi=−4.59,a=1,b=1，解上述方程可得θ^=6.69,−q¨(6.69)=0.785，因此ξ(θ|x)≈Normal(6.69,1/0.785)

3 找出θ^

在上面的这里例子中求解θ^很简单，但是并不是所有的模型中都可以直接计算出的，这里可以使用数值方法，例如牛顿法：
初始值：θ=θ0
迭代：

4 正态分布对后验概率估计的质量

现在我们已经可以对一个后验概率使用Laplace近似了，那么我们得到的结果和要近似的分布之间差异到底有多大呢？
结论：当模型是”regular”，prior光滑，n足够大，

对共轭后验的正态近似

当n足够大的时候，有着共轭后验的分布也和正态分布近似。