机器学习：贝叶斯总结_2：概率分布

伯努利分布

• Bern(x|μ)=μx(1−μ)1−x
• μML=mN : 正面朝上的概率，是数据集中正面朝上的观测所占的比例

---

Beta分布

• 共轭性：先验和后验具有相同的形式；先验概率正比于似然函数，则后验概率和先验概率具有相似的形式。
• ∫10Beta(μ|a,b)dμ=1

---

多项式变量

• K个互斥状态的分布

• xk=1的概率，那么 x的分布是
  p(x|μ)=∏Kk=1μxkk

• 最大似然解：μMLk=mkN
  N次观测中，xk=1的解；

• 联合分布：数据m1,.....,mK在参数μ和观测总数N的条件下的联合分布

Mult(m1,m2,......,mk|μ,N)=(Nm1m2...mK∏Kk=1μmkk)

---

狄利克雷分布

• Dir(μ|α)=Γ(α0)Γ(α1)...Γ(αK)∏Kk=1μαk−1k

其中：Γ(x)是γ函数

• 狄利克雷分布是多项式分布的共轭

---

高斯分布

条件高斯分布

高斯分布的最大似然解

---

顺序估计

• 最大似然的顺序估计：每次处理一个数据点，然后丢弃数据点
• 一次处理所有的数据点不可行的情况

高斯分布的贝叶斯估计

• 似然：μ的二次型
• 选择先验为高斯分布，则先验和似然共轭
• 后验：

μN=σ2Nσ2+σ2μ0+Nσ2Nσ2+σ2μML

1σ2N=1σ20+Nσ2

其中：μML是μ的最大似然解； μML=1N∑Nn=1xn

结论：

• N=0,则μN是先验均值
• N−>无穷 ，μN是最大似然解

---

t 分布

周期变量

---

混合高斯模型

---

共轭先验

---

无信息先验

---

非参数化的方法

k领域算法

---

最大似然和贝叶斯区别

• 计算复杂度：最大似然好；
• 可理解性：最大似然好；
• 对初始先验知识的信任：先验信息可靠，则贝叶斯可以利用更多的信息