统计学习（三）：假设检验与 p-values

设参数空间 Ⓢ 可以分解为互不相交的子空间 Ⓢ0 和 Ⓢ1. 检验

H0:θ∈Ⓢ0v.s.H1:θ∈Ⓢ1

零假设 H0 ( null hypothesis ), 备择假设 H1 ( alternative hypothesis ), 检验结果

设样本 x, 检验统计量 T(x), 临界值 c, 则拒绝域 R 通常可以表示为

R={x:T(x)>c}

定义3.1 一个检验的势或功效( power function ) 定义为

β(θ)=Pθ(X∈R)

定义检验的容度( size )为 α=supθ∈Ⓢ0β(θ).

称检验的水平为 α, 如果该检验的容度不超过 α, 即，对

∀θ∈Ⓢ0,有β(θ)≤α

The Wald Test

设 θ 的估计量 θ^, se^ 是估计量的标准误。

定义3.2 检验 H0:θ=θ0H1:θ≠θ0
假设 θ^ 是渐近正态的，即 θ^−θ0se^−→dN(0,1)

那么，水平 α 的 Wald 检验：拒绝 H0, 当 |W|>zα2, 这里

W=θ^−θ0se^(zα=Φ−1(1−α))

定理3.1 渐近地， Wald 检验有水平 α, 即

Pθ0(|W|>zα2)⟶α,当n→∞时

.

定义3.3 称 β(θ)=Pθ(X∈R),θ∈Ⓢ1 为检验的功效( Power ).

例3.1 比较两个总体的均值

设 x1,x2,…,xm;y1,y2,…,yn 是分别来自两个总体的样本，均值分别为 μ1,μ2, 检验

H0:μ1=μ2H1:μ1≠μ2

令 δ=μ1−μ2, 则检验等价于

H0:δ=0H1:δ≠0

δ 的估计量 δ^=x¯−y¯, se^=s21m+s22n−−−−−−−√,
s2i,(i=1,2) 为样本方差。

令 W=δ^−0se^=x¯−y¯s21m+s22n−−−−−−−√

那么，拒绝域 R={W>zα2}

例3.2 比较两个总体的中位数

令 δ=ν1−ν2, νi 为总体中位数，即 νi=F−1i(12). 检验

H0:δ=0H1:δ≠0

令 δ^=ν1^−ν2^, νi^ 为样本中位数，
标准误从 bootstrap 样本得到， 则 W=δ^/se^, 拒绝域 R={W>zα2}

定义3.4 设对每一个 α∈(0,1), 存在水平为 α 的检验，其拒绝域为 Rα. 则 p−value=inf{α:T(X)∈Rα}. 即， p 值是能够拒绝 H0 的最小显著性水平。

定理3.2 假设水平为 α 的检验形式： 拒绝 H0, 当且仅当 T(X)≥cα. 那么，

p−value=supθ∈Ⓢ0Pθ(T(X)≥T(x))

x 为 X 的观测值。如果 Ⓢ0={θ0}, 那么

p−value=Pθ0(T(X)≥T(x))

定理3.3 令 w=θ^−θ0se^ 是 Wald 统计量 W 的观测值，则

p−value=Pθ0(|W|>|w|)≈P(|Z|>|w|)=2Φ(−|w|)

这里， Z∼N(0,1).

多项分布数据的卡方检验

χ2 分布

定义3.5 令 Z1,Z2,…,Zk 是独立同分布的( i.i.d. ), Z1∼N(0,1). 令 V=∑i=1kZ2i, 则称 V 是具有自由度 k 的 χ2 分布，记为 V∼χ2(k).

• 均值和方差

χ2 的均值 E(V)=k, 方差 Var(V)=2k.

• α分位点

χ2k,α=F−1(1−α), 其中 F 为累积分布函数，即

P(χ2>χ2k,α=α)

多项分布( Multinomial distribution )

多项分布是二项分布的推广。例如，掷一个 k 面的骰子 n 次，相当于 n 次独立试验，每一次有 k 类中的一类发生( success ), 每一类有固定的成功概率，多项分布给出不同类的成功次数的任一组合的概率。特别地，当 n=1, k=2 时，多项分布即贝努利( Bernoulli )分布； 当 n>1, k=2 时，即二项( Binomial )分布。

定义3.6 设有 n 次试验，每次试验有 k 个可能的互斥结果，发生的概率分别为 p1,p2,…,pk. 则 ∑i=1kpi=1,pi≥0,i=1,2,…,k. 令 Xj 表示第 j 类结果在 n 次试验中发生的次数，令 X=(X1,X2,…,Xk)′,
称 X 服从参数为 n,p 的多项分布。
显然， ∑j=1kXj=n, 说明 X1,X2,…,Xk 之间不独立。

• 概率分布列

f(x1,x2,…,xk;p1,p2,…,pk)=P(X1=x1,X2=x2,…,Xk=xk)

=n!x1!x2!⋯xk!px11px22⋯pxkk

=Γ(∑j=1nxj+1)∏i=1kΓ(xi+1)∏i=1kpxii

• 均值和协方差

E(Xi)=npi, Var(Xi)=npi(1−pi), cov(Xi,Xj)=−npipj, 令
p=(p1,p2,…,pk)′, 矩阵表示为

E(X)=np

cov(X,X)=n{diag(p)−pp′}

χ2 检验

设 X=(X1,X2,…,Xk)′∼multinomial(n,p), 则 p 的最大似然估计
p^=(p^1,p^2,…,p^k)′=(x1n,x2n,…,xkn)′. 检验

H0:p=p0=(p01,p02,…,p0k)′H1:p≠p0

令 Pearson’s chi2 统计量

Tn=∑j=1k(Xj−np0j)2np0j=∑j=1k(Xj−Ej)2Ej

在 H0 下， Ej=E(Xj)=np0j

定理3.4 在 H0 下， Tn−→dχ2k−1. 那么，给定渐近水平 α,
拒绝域 {Tn>χ2k−1,α}

置换检验

置换检验( Permutation Test )是一种非参数的方法，主要检验两个分布是否相同。也称随机化检验 ( randomization test )或精确检验( exact test ). 假设 x1,x2,…,xm∼FX, y1,y2,…,yn∼FY, 检验

H0:FX=FYH1:FX≠FY

令统计量 T=T(x1,x2,…,xm;y1,y2,…,yn), 例如， T=|x¯m−y¯n|,
令 N=m+n, 考虑混合样 x1,x2,…,xm;y1,y2,…,yn 的所有 N! 个排列，
每一个排列，计算一个 T, 得 T1,T2,…,TN!, 定义置换分布

PH0(T=Tj)=1N!,j=1,2,…,N!

p−value=PH0(T>tobs)=1N!∑j=1N!I(Tj>tobs)

实际上，置换 B 次而不是 N! 次。

p−value=1B∑j=1BI(Tj>tobs)

似然比检验

H0:θ∈Ⓢ0H1:θ∉Ⓢ0Ⓢ0⊂Ⓢ

令似然比统计量

λ=2logsupθ∈ⓈL(θ)supθ∈Ⓢ0L(θ)=2logL(θ^)L(θ^0)

θ^ 是 θ 的最大似然估计，θ∈Ⓢ; θ^0 是 θ 的最大似然估计 θ∈Ⓢ0.

定理3.5 设 θ=(θ1,θ2,…,θq+1,…,θr), 令 Ⓢ0={θ:(θq+1,…,θr)=(θ0,q+1,…,θ0,r)}. 令 λ 是似然比统计量，在 H0:θ∈Ⓢ0 下，

λ(x)−→dχ2r−q,α

p−value=PH0(χ2r−q>λ)

其中， r−q=dim(Ⓢ)−dim(Ⓢ0).

阅读更多精彩内容，请关注微信公众号“统计学习与大数据”！