PLSA隐变量主题模型的公式推导解惑
来源:互联网 发布:房地产投资模型 知乎 编辑:程序博客网 时间:2024/06/05 04:46
PLSA隐变量主题模型,公式推导网上也好,还是书上也好,都属于从略。
但是无论对于新手来说,还是老手,从略是不合适的,这不是一个科学对待的态度。机器学习就这么几个模型,从略是不是也对不起自己了
好了,闲话少说:
这是第一步,都是使用的条件概率公式,当然,分母p(di,wj)的分解,使用的是CK方程,一会再说。
要使第一步成立,则如图所示,p(wj|zk,di)必须等于p(wj|zk)
而wj,di是条件独立的,于是有了如下证明:
p(w|z,d) = p(w,z,d)/p(z,d) = p(w,d|z)*p(z)/p(d|z)*p(z) = p(w,d|z)/p(d|z) = p(w|z)*p(d|z)/p(d/z) = p(w|z)
证明完毕!
补充:我们知道,PLSA是所谓的贝叶斯head-to-tail模型,也就是马尔可夫模型。
上面已经说到,分母p(di,wj)的分解,使用的就是CK方程,这是马尔可夫里面的东西,其实上面分子如果从马尔可夫模型角度来看,完全就是定义,也就是说
这个PLSA的隐变量模型,其实就是从马尔可夫模型推导的,因为无论是分子还是分母,都是直接给结论啊。
再延伸开来,我们知道,最大熵也好,极大似然也好,机器学习中求的就是条件概率p(y|x)。实际上都可以用马尔可夫模型来套。
0 0
- PLSA隐变量主题模型的公式推导解惑
- 主题模型TopicModel:PLSA模型及PLSA的EM推导
- PLSA主题模型的EM算法推导
- plsa 公式推导
- 主题模型(LDA)(二)-公式推导
- 概率主题模型与LDA模型公式推导(1)
- 【转】主题模型--pLSA,LDA
- 机器学习:主题模型:PLSA
- 主题模型TopicModel:Unigram、LSA、PLSA模型
- 主题模型分析模型——pLSA
- 主题模型TopicModel:Unigram、LSA、PLSA主题模型详解
- 【机器学习】主题模型(二):pLSA和LDA
- PLSA详解推导
- 关于PLSA的一个参数公式的解释
- 方差的期望公式推导,均值的期望公式推导
- 基本三角公式的推导
- 一个排列组合公式的推导
- 对数变换公式的推导
- Vector容器与iterator迭代器
- 牛客网 8.2 2017网易校招 Java 第二题 地牢逃脱
- Android之Handler用法总结
- HDU Arc of Dream
- 9 隐含规则
- PLSA隐变量主题模型的公式推导解惑
- 一步一步教你做ios推送
- Unsupervised template learning for fine-grained object recognition
- 戏(细)说Executor框架线程池任务执行全过程(上)
- ajax内存泄漏的解决方案以及长连接和短连接的详解
- [JQuery,前端]jQuery表格插件datatables用法详解
- android 触摸(Touch)事件、点击(Click)事件的区别(详细解析)
- IOS热更新-JSPatch实现原理+Patch现场恢复
- 118. Pascal's Triangle