统计中parameter estimation 的方法总结。Topic Model需要注意的

个人总结：统计中参数估计有四种方法

点估计

MLE

MAP

• 加入参数的prior 信息，可以避免overfitting，还可以加入extra knowledge。称为Occam’razor

Bayesian Inference

这种方法不像MLE,MAP将参数看成未知的常量，而是看成随机变量，求出其后验分布的具体形式p(θ|X)，然后用E(θ|X)作为估计值。

Topic Model 中的Gibbs Sampling

通常我们在topic model中的inference，全是这种思路。比方说 gibbs sampling, 如果是collapsed的话，不考虑ϕ 和θ, 那么就是估计z了，（这里的z可以看成上面一段的θ）.

所以可以用MLE, MAP和bayesian inference 来估计z, 由于MLE和MAP不能计算出一个只包括z的式子，所以我们要用 bayesian inference, 求p(z|w), 但问题由来了，具体式子很难求，主要是因为分母，所以用gibbs sampling 来sample p(z|w)， 得到z的期望值。

总之 由于是collpased， 这里的objective 其实是 后验概率p(z|w)

Topic Model中的Variational Inference

对于原始的LDA paper，即没有β
这里的目标也是后验概率，只是没有collapsed掉，p(θ,z|w)