机器学习：LDA_数学基础_1：贝叶斯数学_基础

• 参数估计的方法
  
  1. 矩估计
  2. 最大似然估计
  3. 最小二乘法
  4. 贝叶斯估计

---

贝叶斯观点

• 贝叶斯公式

  1. 全概率公式: B1,.....,Bn是样本空间的一个完备事件群
     p(A)=p(∑ni=1ABi)=∑ni=1p(A|Bi)p(Bi)
     2.贝叶斯公式
     p(Bi|A)=p(A|Bi)p(Bi)p(A)=p(A|Bi)p(Bi)∑nj=1p(A|Bj)P(Bj)

• 频率学派：将样本视为来着一定概率分布的总体，所研究的对象是总体分布，而不是样本(发现了最小二乘和正态分布)

• 贝叶斯学派：

  1. 先验信息：在抽样之前，关于统计推断问题中参数的先验知识（ 先验来着经验和历史）
  2. 是否使用先验知识，是贝叶斯学派的特点
  3. 重视已经出现的样本，对于未出现样本不考虑
  4. 重点是如何确定先验分布

• 核心分歧：将参数 θ 看做固定参数还是随机变量

---

### 先验分布和后验分布
* π(θ)是θ的先验分布

1. π(θ)是随机变量θ的概率函数
   (θ是离散变量时π(θi)是事件θ=θi的概率分布；θ是连续变量的时候，π(θ)是θ的密度函数)

2. π(θ)在获取样本后，发生变化；
   π(θ|x)是给定x时随机变量θ的概率函数

---

• 后验分布
  获取样本x后，θ的后验分布就是X=x条件下θ的条件分布，π(θ|x)

π(θ|x)=h(θ)m(x)=f(x|θ)π(θ)∫Θf(x|θ)π(θ)dθ

h(x,θ)是联合分布
f(x|θ)是概率密度函数

π(θi|x)=f(x|θi)π(θi)∑if(x|θi)π(θi)

f(x|θi)是事件X=x|θi的概率P(X=x|θi)

---

• 获得后验概率后可以使用后验均值作为θ的估计
  θ^B=E(θ|x)=∫Θθπ(θ|x)dθ
  =∫Θθf(x|θ)π(θ)dθm(x)

---

例子(Beta分布)

设随机变量X服从二项分布B(n,θ), θ的先验分布是(0,1)上的均匀分布U(0,1),求θ的贝叶斯点估计
解：
X的概率密度和θ的先验密度是
f(x|θ)=(nx)θx(1−θ)n−x
π(θ)=1 (0<θ<1)

X和θ的联合分布
h(x,θ)=(nx)θx(1−θ)n−x
X的边缘分布
m(x)=∫10h(x,θ)dθ=1n+1
=>
θ的后验概率是
π(θ|x)=h(x,θ)m(x)=...
(Beta 分布)
=>
θ^B=E(θ|x)=x+1n+2

其中MLE下的估计是
θ^=Xn

---

Beta分布，Gamma分布

• Beta函数和Gamma函数
  B(a,b)=Γ(A)Γ(B)Γ(a+b)

---