机器学习基石 6.4 A Pictorial Proof

1. BAD Bound for General 

想要的式子长这样：

当N足够大时，下面的式子成立：

证明比较困难。主要分为三个步骤：

Step 1: Replace Eout by E′in

Ein的定义：

Ein(h)=1N∑n=1N[h(xn)≠yn]

所以在给定了之后（中只有有限多个点），Ein的取值实际上只有有限个。
然而Eout的取值却可以是无限个。
我们要想办法把它变成有限多个，这里想到了用用来做verification 的数据集′，它大概可以用来代替Eout。
下面的图代表随机取一个，其Ein的分布情况，可以看到在已经抽出有一个与Eout相差很大的Ein的情况下，再抽一个E′in时，Ein与E′in相差很大的概率至少是大于12的。

于是

Eout就被换掉了。

Step 2: Decompose  by Kind

Step 3: Use Hoeffding without Replacement

2. That’s All!

3. Fun Time