Hoeffding不等式的证明

Hoeffding不等式：
对于m个独立的随机变量X1,X2,⋯,Xm,且所有的Xi都有界[a1,bi]。令x¯¯¯=∑i=1mXim,则有一下不等式成立:P(x¯¯¯−Ex¯¯¯≥t)≤exp(−2t2m2∑i=1m(bi−ai)2)

Proof:
首先，对于任一函数f(z),有：I{f(z)>0}≤exp(ηf(z))⋯⋯⋯⋯⋯⋯⋯(1)
则P(x¯¯¯−Ex¯¯¯≥t)=E(I{(x¯¯¯−Ex¯¯¯−t≥0)})=E(I{(mx¯¯¯−mEx¯¯¯−mt≥0)})≤E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))⋯⋯⋯⋯⋯⋯⋯(2)

则对于E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))
∵X1,X2,⋯,Xm相互独立，∴Ex¯¯¯=E(∑i=1mXi)m=E(X1+X2+⋯+Xm)m=EX1+EX2+⋯+EXmm我们有：
E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))=e−ηmTE(exp(η(mx¯¯¯−mEx¯¯¯)))=e−ηmTE(exp{[∑i=1mη(Xi−EXi)]})=e−ηmT∏i=1mE(exp(η(Xi−EXi)))
∵x∈[a1,bi],且exp(η(Xi−EXi))是关于Xi在区间上的凸函数
∴exp(η(Xi−EXi))≤bi−EXibi−aieη(ai−EXi)+EXi−abi−aieη(bi−EXi)=bi−−ai+ai−EXibi−aieη(ai−EXi)+EXi−abi−aieη(bi−EXi)=eη(ai−EXi)−EXi−aibi−aieη(ai−EXi)+EXi−abi−aieη(bi−EXi)=eη(ai−EXi)(1−EXi−aibi−ai+EXi−abi−aieη(bi−ai))

令p=η(bi−ai),qi=EXi−abi−ai，则对于每个Xi来说，p是关于η的变量，q是常量，将p、qi代入上式：
exp(η(Xi−EXi))≤eη(ai−EXi)(1−EXi−aibi−ai−EXi+EXi−abi−aieη(bi−ai))=e−ηpqi(1−qi+qieηp)=exp(−ηpqi+log(1−qi+qieηp))

令L(p)=−ηpqi+log(1−qi+qieηp)
则L′(p)=−ηqi+epqi1−qi+qieηp ，L′′(p)=qiepqi(1−qi)(1−qi+qieηp)2≤14(1−qi+qieηp)2(1−qi+qieηp)2=14
对L(p)进行Taylor展开得：
L(p)=L(0)+L′(0)p+L′′(ξ)p22!=L′′(ξ)p22!≤p28
则E(exp(η(Xi−EXi)))≤E(exp(p28))=exp((η(bi−ai))28)
则E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))=e−ηmT∏i=1mE(exp(η(Xi−EXi)))≤∏i=1mexp((η(bi−ai))28−ηt)=exp(η2∑i=1m(bi−ai)28−ηmt)对所有η都成立
当η取4mt∑i=1m(bi−ai)2时最小,为：exp(−2mt∑i=1m(bi−ai)2)
又P(x¯¯¯−Ex¯¯¯≥t)≤E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))
∴P(x¯¯¯−Ex¯¯¯≥t)≤exp(−2t2m2∑i=1m(bi−ai)2).即证。