8.1 Noise and Probabilistic Target

Recap: The Learning Flow

如果资料有noise会发生什么？

Noise

在介绍pocket算法之前简单的介绍了noise。
noise有以下几种情况：

Probabilistic Marbles

有noise时可以认为是有“会随时间变色”的弹珠，只要记录在取样时的颜色即可。整体的性质是不会变的，橘色的概率仍然是可以被预测的。
i.i.d.：independent and identically distributed 独立同分布。
P(y|x)：代表在已经确定是x弹珠的情况下的两种颜色的概率。
VC Bound在有noise的情况下仍然有效。

Target Distribution：P(y|x)

例子：一个点有70%的概率是圈，那么就认为它是圈（ideal mini-target），其30%是叉的概率被视为杂讯。
deterministic target可以被看作target distribution的一种特殊情况。
学习的目标：在常见的点上要做的好（接近mini-target）。

The New Learning Flow

以上说明了pocket的可行性。

Fun Time