Hoeffding证明

Hoeffdinng 不等式证明

---

不等式的证明摘录自维基百科，其中加入自己不理解部分的证明。

Hoeffding不等式内容：

  设Sn=∑ni=1Xi是独立随机变量X1,X2,...,Xn之和，Xi∈[ai,bi]，则对任意t>0，以下不等式成立：

P(Sn−ESn≥t)≤exp(−2t2∑ni=1(bi−ai)2)

P(ESn−Sn≥t)≤exp(−2t2∑ni=1(bi−ai)2)

证明：

Step One:

• 引入马尔科夫（Markov）不等式：
  
  P(X≥ε)≤EXεε>0
• 马尔科夫不等式证明：
  
  P(X≥ε)=∫X≥εp(x)dx≤∫X≥εxεp(x)dx=1ε∫X≥εxp(x)dx≤1ε∫+∞−∞xp(x)dx=EXε

Step Two:

• 引入Hoeffding引理(Hoeffding’s Lemma):
    对于随机变量X，满足条件a≤X≤b且EX=0，则对于∀λ∈R：
  
  E[eλX]≤exp(λ2(b−a)28)
• Hoeffding引理证明：
  因为eλx是一个下凸函数，根据其性质：
  
  f(ρx1+(1−ρ)x2)≤ρf(x1)+(1−ρ)f(x2)0≤ρ≤1
  令x1=b,x2=a,ρ=x−ab−a，则有:
  
  eλ(x−ab−ab+b−xb−aa)≤x−ab−aeλb+b−xb−aeλaeλ(x−ab−a(b−a)+a)≤x−ab−aeλb+b−xb−aeλa
  即
  
  eλx≤x−ab−aeλb+b−xb−aeλa
  因为EX=0，所以若a,b中存在一个为0则P(X=0)=1，若a,b均非0，则a≤0,b≥0。对两边求期望：
  E[eλX]≤b−EXb−aeλa+EX−ab−aeλb=bb−aeλa+−ab−aeλb=(−ab−a)eλa(−ba+eλb−λa)=(−ab−a)eλa(−b−a+aa+e(b−a))=(−ab−a)eλa(−b−aa−1+e(b−a))=(1−θ+θeλ(b−a))e−λθ(b−a)θ=−ab−a>0
  令μ=λ(b−a)
  {φ:R→Rφ(u)=−θμ+log(1−θ+θeu)
  φ(u)即是对上式中取对数。因为：
  
  (1−θ+θeu)=θ(1θ−1+eu)=θ(−ba+eu)>0θ>0,ba>0
  所以φ(u)是有意义的,由定义可知E(eλX)≤eλ(u)
  根据泰勒中值定理：
  
  φ(u)=φ(0)+uφ′(0)+12u2φ′′(v)
  计算可知：
  
  φ(0)φ′(0)φ′′(v)=0=−θ+θeu1−θ+θeu∣∣∣u=0=0=θev(1−θ+θev)−θ2e2v(1−θ+θev)2=θev1−θ+θev(1−θev1−θ+θev)=t(1−t)≤14t=θev1−θ+θev>0
  所以φ(u)≤0+u⋅0+12u2⋅14=18λ2(b−a)2
  即E[eλX]≤exp(λ2(b−a)28)

Step Three:

P(Sn−ESn≥t)=P(eλ(Sn−ESn)≥eλt)≤e−λtE[eλ(Sn−ESn)]=e−λt∏i=1nE[eλ(Xi−EXi)]≤e−λt∏i=1neλ2(bi−ai)28=exp(−λt+18λ2∑i=1n(bi−ai)2)

定义关于λ的函数g(λ):
{g:R+→Rg(λ)=−λt+λ28∑ni=1(bi−ai)2
求g′(λ)=0得到λ=4t∑ni=1(bi−ai)2
代入上式可得：

P(Sn−ESn≥t)≤exp(−2t2∑ni=1(bi−ai)2)