LAD原理（1）知识储备之函数和分布

简介

LDA是一种主题模型，它基于这样的思想：人写文章可以理解成这样的过程，再写一篇文档之前，先有这篇文档的主题分布（文档-主题），每一个主题也有词分布（主题-词）

知识储备

我们先从一些基础概念讲起

Gamma函数

先看公式

Γ(x)=∫∞0tx−1e−tdt

其实就是阶乘运算扩展到了实数集上而已。
它的一些性质：

Γ(x+1)=xΓ(x)

Gamma(n)=(n−1)!

一些分布

Beta分布定义：

其中B(α,β)称为Beta函数

B(α,β)=∫10xα−1(1−x)β−1dx=Γ(α)Γ(β)Γ(α+β)

我们看这个密度函数，对于随机变量x而言，1B(α,β)是一个定值，除了这个定值，后面的两个因子，在形式上是不是很像二项分布呢？

Dirichlet分布（狄利克雷分布）

简单介绍（维基百科）
狄利克雷分布是一组连续多变量概率分布，是多变量普遍化的Β分布。
K阶狄利克雷分布的概率密度函数表示为如下形式：

f(x⃗ ;α⃗ )=f(x1,x2...xk;α1...αk)=1B(α)∏Ki=1xαi−1i

其中xK=1−x1−...xK−1；
多项Beta函数B(α⃗ )是归一化衡量

B(α⃗ )=∏Ki=1Γ(αi)Γ(∑Ki=1αi)

在此介绍Dir分布的一些性质：

E(x⃗ )=E(x1,...,xK)=(α1∑Ki=1αi,...,αK∑Ki=1αi)