常见离散的概率分布

二项分布

假设抛一枚硬币，X∈{0,…,n} 是正面朝上的次数。正面朝上的概率 θ 。则 X 具有二项分布，写作 X∼Bin(n,θ)

Bin(k|n,θ)=Cknθk(1−θ)n−k

μ=nθ,var=nθ(1−theta)

E(X)=0×C0nθ0(1−θ)n+⋯+k×Cknθk(1−θ)n−k+⋯+n×Cnnθn(1−θ)n−n

=nθ(C0nθ0(1−θ)n+⋯+Cknθk(1−θ)n−k+⋯+Cn−1n−1θn−1(1−θ)0)

=nθ(θ+1−theta)n−1=nθ

伯努利分布

伯努利分布是二项分布的一个特例，即 n=1 的情况，X∈{0,1} 时，二项分布可写作

Ber(x|θ)={θ1−θ if x=1  if x=0

多项式分布

二项式分布是抛硬币，多项式分布是抛色子，x=(x1,…,xK)， xj 是出现第 j 面的次数

Mu(x|n,θ)=(nx1…xK)∏j=1Kθxjj

其中 θj 是第 j 面出现的概率，而

(nx1…xK)=n!x1!x2!…xK!

当 n=1 ，Mu(x|1,θ)=∏Kj=1θ1()j
当 n=1 ，Mu(x|1,θ)=∏Kj=1θ1(xj=1)j

泊松分布

X∈{0,1,2,…} 且 λ>0 的泊松分布 X∼Poi(λ)

Poi(x|λ)=e−λλxx!

经验分布

D={x1,…,xN}， 经验分布

p(x)=∑i=1Nwiδxi(x)

其中 δx(A)={01 if x \notin A  if x \in A，0≤wi≤1 并且 ∑Ni=1wi=1