Radermacher Complexity

本文主要从理解方面入手以及各个公式之间的关系，没有证明（因为证明看了我也会忘。。）
简要概念
1. Radermacher Complexity：样本复杂性与无穷集合的可学习性之间的关系. 值：在一个函数集合中,所有函数与random noise相关性的最大值。
2. Growth function: Random Complexity 的求法是NP-hard，所以我们用Growth function 来近似他的上届。值：在一个样本集合S中，有m个样本， 这m个样本被H集合中的不同函数进行分类的所有不同方式
3. VC dimension:在样本集合S中，可以被H集合中不同函数分开的最大样本数，或者 有多少样本可以被H集合中的函数打散(所有样本各种标签组合H里的函数都可以正确分类)。对于一个样本S集合,函数H若所有样本都可以被打散。由于每个样本有两中选择0,1,共有2|S|中组合。所以若完全打散则H集合中的个数|H|>2|S|,所以VCdim(H)<=log2|H|.

McDiarmid’s inequality:

Hoeffding’s lemma

Hoeffding inequalty

举一个例子介绍复杂度：
我们都知道过拟合的时候，在训练集上误差很小，但在测试集上误差很大太高，对每一个样本都拟合(理解就好：指泛化性能很差)的很好，这是因为分类器复杂度。为了使得在测试集上效果比较好，因此在训练时需要在训练误差和模型复杂读之间做一个权衡。

Rademacher复杂度通过计算一个函数集合(映射或分类器）对随机噪声对拟合程度来判断一个函数集合的复杂度，即

S是某一个特定样本集，G是一个函数集合。ERM是指一个函数集合在某一个样本集S上度复杂度。

在某一个分布上的集合复杂度：

Theorem 3.1说明了训练集和测试集误差的关系：

左边为测试集， 右边为已知训练集。可以把g(z)当成误差函数（实际上下面证明对于loss函数公式依然成立），我们就可以知道测试集的误差上限。