DP混合模型参数分析(DPMM)
来源:互联网 发布:特效字体软件下载 编辑:程序博客网 时间:2024/06/11 05:03
一般有限数目的混合模型,贝叶斯提供一种基于数据的既可以估计混合模型中多少个components的数量,又可以估计每个mixture components 的参数值的方法。
对于有限混合模型中数据(data x)的密度函数的形式:
,其中
G是一个涵盖了混合参数的一个离散分布,G 的右半部分delta(theta)是以theta为中心的一块(区域)。Theta可做如下理解:类似筷子被截成n段,每一段是一个delta(theta),这一段的中心值是theta。
当DPMM被应用于有限数据训练时,先采用有限的components对数据建模,因为每一个数据元对应一个component,而一个component可以对应多个不同的数据元,类似多对一的映射。
建模完成后,我们现在需要反过来推理模型中components的数量以及构成components的参数。
在这里我们就需要用到贝叶斯参数分析方法。先假设G服从某先验分布,因为G 是一个离散的多元分布,所以大多数情况下,首先映入脑海的是DP(DIRICHLET PROCESS).这也是为什么要叫做DP混合模型的原因之一。
参见下图,含有K个component的DP混合模型,筷子截断后的多段中心theta 服从一个先验的分布H(lambda),就是每一段的中心值对应分布中的某一个值,这里多个段,也可以理解为一个cluster;Pi是衡量delta(theta)的权值,是一个狄里克雷分布【注:狄里克雷过程是一个离散的,狄里克雷分布是连续的】;Z是隐藏指示变量(可参考GMM内变量的阐述),由Z引出每一个cluster里观察到X的值。N代表N个cluster,X1....Xn。图中,空心圆表示变量,阴影圆表示可观测量,圆角矩形表示参数或者基本分布(eg.alpha一般选择gamma分布),矩形框代表迭代循环,矩形框右下角的数字则代表迭代循环的次数。
注意图中,G的表示方法和文中对G 的描述,因为G一般采用stick-breaking来理解,这里引入潜在的指示变量Z(latent indicatorvariables)来表征取G中的某一个值,这个值的权值为Pi,用以衡量delta(theta)的大小。
,,
Alpha 是一个测量参数或者一个分布,类似正态分布里的方差;H是一个基础测量值,类似正态分布里的均值。【IMPORTANT :::lamda=alpha*H】.
若对参数空间G进行划分,分为A1,...An,那么有(G(A1),...,G(An))~~~(alpha H(A1),....alpha H(An)).
中餐馆过程可以很形象的帮助理解这个过程(CHINESE RESTAURANT PROCESS)。餐馆里有无数张桌子,这无数张桌子在实际中是用不完的,一般称为 countable infinite,我们在用到的有限数目的多少张桌子,这些桌子上分别都坐了多少个客人,新来的客人根据某些情况,以某种概率坐在已有的桌子上,或是另开辟一张新桌子。桌子的数目就和文中开篇提到的components保持对应,顾客就和parameters保持对应。
- DP混合模型参数分析(DPMM)
- 关于Dirichlet过程混合模型(DPMM)的理解
- Dirichlet过程混合模型(DPMM)的Gibbs抽样程序
- DPMM(狄利克雷过程混合模型)浅解和添加似然函数的问题
- DPMM和HDP 非参数贝叶斯(2)
- 高斯混合模型(GMM)参数优化及实现
- matlab注释分析高斯混合模型
- 高斯混合模型(GMM model)以及梯度下降法(gradient descent)更新参数
- 机器学习高斯混合模型:聚类原理分析(前篇)
- 机器学习高斯混合模型:聚类原理分析(前篇)
- 高斯混合模型原理,参数优化及实现
- 采用EM算法求解高斯混合模型参数
- EM算法 估计混合高斯模型参数 Python实现
- OpenCV混合高斯模型代码分析与完善
- 混合高斯模型深入理解和分析
- 高斯混合模型(GMM)
- 【转】高斯混合模型(GMM)
- 高斯混合模型(GMM)
- C题库1
- Client error C2440: “static_cast” : 无法从“void (__thiscall CTrueColorToolBar::* )(NMTOOLBARA *,LRESULT
- 验证BM3D算法效果(matlab)
- 文件权限
- Delphi 的接口(3) - 关于接口的释放
- DP混合模型参数分析(DPMM)
- JavaScript 实现反射机制
- 【解决方案】windows win7 双击图片,不能通过照片查看器打开,有错误 “模块shimgvw.dll已加载,但找不到入口点DllRegisterServer ”
- devstack note 01
- 【清华差生10年奋斗经历】
- 摄像头在liunx上的QT显示和OK6410 ARM开发板上的使用
- C#版本常用Windows消息定义
- VC获取文件大小
- GTK和GTK+介绍