parameter estimation for text analysis
来源:互联网 发布:赛为智能人工智能 编辑:程序博客网 时间:2024/06/05 22:43
其中
最大似然估计(MLE)是最大化似然函数
最大后验概率(MAP)是最大化
两者都是点估计。最大后验概率是对参数指定一个先验分布。得到的值介于先验和MLE之间。
贝叶斯估计是基于贝叶斯公式进行求解,它将参数
共轭
对似然函数,选定一个先验后,得到一个与先验具有相同函数形式的的后验分布(除了系数不同),此时,我们说先验分布和后验分布是共轭的,同时,这个先验是似然的共轭先验。
Conjugate Prior: In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood. —-from wiki
共轭的好处是计算方便,同时超参数有明确的物理意义,就是伪计数。另外一个好处就是在计算似然函数时可以把似然函数中的参数通过积分给消掉,从而把似然表示为超参数的函数。这个要通过推导才能看出来。
在定义似然函数时,以伯努利分布和二项分布为例,什么时候要在似然函数上加上二项分布的系数,什么时候不加?当我们只是对一系列伯努利实验的结果序列进行建模时不用加系数。当我们对一系列伯努利实验的每个结果的次数进行建模时就要加上系数。
这里的叙述可能有问题,二项分布的似然函数的表达式是
unigram model假设文档之间独立,词之间也独立,那么生成一个文档的过程就是一个多次的多项式分布实验,重复N次就生成了N个单词。这是最简单的模型,其实就是多次的多项式分布实验。
其实也可以给unigram model中的单词被选中的概率一个先验分布,从而使用贝叶斯估计的那一套来进行计算。
贝叶斯网络是一类图模型,用来表示概率分布和条件依赖。
贝叶斯网路是一个有向图,节点表示随机变量,边表示条件关系,其中观测变量和隐含变量的表示又有不同。盘子表示随机变量的多次重复出现,右下角是出现次数。
推导
首先应该了解gamma函数:
gamma函数是阶乘函数在实数与复数上的扩展,定义为:
如果x为正整数,有如下性质:
同时有如下递推公式:
下面是Dirichlet分布,该分布是Beta分布从二维到K维的推广。
该分布的概率密度函数为:
根据概率分布的定义:
有
上面的式子在LDA的推导中会一直用到。
collapsed LDA推导
先约定下各个符号的含义。
M:文档数
K:主题数
V:词汇表大小
在LDA中隐含变量是每个单词的主题
collapsed的意思是把某些参数通过积分的形式给去掉。在LDA中就是把
我们推断的目标是
由于分母难以计算,我们使用gibbs抽样,通过计算full conditional
我们先求分子的联合分布。
下面我们对两个概率分布分开处理
下面求
类似地
同样,我们把
所以:
有了上面的联合分布,我们可以求单词w(m,n)的full conditional
有了这个联合分布,我们就可以使用gibbs 抽样对这个分布进行采样,因为w是观测到的已知数据,只有z是隐含变量,所以我们实际上真正需要采样的分布是
有如下关系式。
而gamma函数又有如下性质:
下面求两个参数集合
利用贝叶斯公式
如何预测新的文档的主题分布?
在训练中得到了主题关于单词的概率分布,在预测时我们认为这个概率分布式固定的,只需要预测新文档的主题分布就可以了。
分为如下几步:
1.首先,随机初始化新文档的每个单词的主题
2.按照gibbs抽样规则,对每个词的主题进行抽样,
3.重复2,直到gibbs sampling收敛。
4.统计新文档的主题分布。
参考:
1.https://zh.wikipedia.org/wiki/%CE%93%E5%87%BD%E6%95%B0
2.https://zh.wikipedia.org/wiki/%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83
3.https://cxwangyi.files.wordpress.com/2012/01/llt.pdf
4.LDA八卦
- parameter estimation for text analysis
- Reading Note : Parameter estimation for text analysis
- 《Parameter estimation for text analysis》阅读笔记
- “Parameter estimation for text analysis ”翻译
- LDA学习笔记---来自《Parameter estimation for text analysis》
- 【一幅图解释EM算法】Parameter estimation for complete and incomplete data
- Parameter Estimation (Chapter 4)[@XiruChen]
- text analysis
- NSF awards $1.8 million for joint image-text analysis research
- TEXT CLASSIFICATION FOR SENTIMENT ANALYSIS – NAIVE BAYES CLASSIFIER
- Tools for Bandwidth Estimation
- pLSA与LDA中的parameter estimation笔记
- Energy Consumption Measurement/Estimation & Analysis & Strategy
- Perl: Line text analysis
- Text Document Analysis
- codeforces723B Text Document Analysis
- B. Text Document Analysis
- HANA Text Analysis功能
- 学习算法之路
- 高斯消元法解01异或方程组(附poj 1222题解)
- 关于C语言中的形参列表空着与加void的区别
- git分支
- spring简单入门
- parameter estimation for text analysis
- About Swift
- Shell笔记
- 二叉树基本操作(二) -----显示
- 关于google的gson-2.3.1.jar,发现一个奇怪的bug
- 文章标题
- Hibernate自动建表编码问题
- 2015-11-12 android对变量监听(一)使用子线程定时监察
- js中(!exp)