hlda周边—非参数贝叶斯模型

转自hw学长论文

非参不是指不需要参数，而是指参数是不确定的，且是可以随着语料的规模，建模需求的改变而动态改变的。 对于非参方法亦可分为贝叶斯方法和非贝叶斯方法。比如 K 近邻方法是典型的非贝叶斯非参模型。这里我们主要讨论贝叶斯非参方法。其利用假设无限个数的参数先验来建模数据，贝叶斯方法则巧妙的使每个参数的取值都不是唯一的，从而使得建模数据的变化，参数能够动态的改变。



参考http://blog.csdn.net/workerwu/article/details/8131009 http://paley.mydiscussion.net/?p=331

贝叶斯非参数模型是一种定义在无限维参数空间上的贝叶斯模型。顾名思义，也就是非参数模型的大小可以随着模型内数据的增大或减小而自适应于模型的变化，有多少个数据，我可以根据数据选择参数，来决定模型的选择（这一定义的直观解释参考PRML figure 2.5）。

非参数模型也是需要假设参数的，跟以往参数模型不同之处在于这个非参数模型只需要一个很小的假设就能够学习并对数据聚类。

非参数的分析及模型选择，可以归结到贝叶斯推断问题中（INFERENCE）.当前较为流行的贝叶斯非参数模型包括高斯回归过程，这个是结构的变化随着样本的变化而不断发生变化。还有一个用的较多的狄里克雷混合过程用于解决clustering，它将新来的数据不断的分到相应的clustering中去。

非参数模型下的聚类问题.由于概率模型和先验分布，可以得到个参数的后验分布。

非参数模型下的聚类问题.由于概率模型和先验分布，可以得到个参数的后验分布：中餐馆应用于聚类的2种不同阐述

先说一个概念，共轭先验（conjugate prior）：在贝叶斯分布中，如果后验概率分布与先验概率属于同一函数族，就把先验分布叫做后验分布的共轭先验。

再说Dirichlet分布：Dirichlet分布是多项分布（multinomial distribution）的共轭先验，对应于betta分布是二项分布的共轭先验。