Kernel Methods(PRML第六章)读书笔记

Kernel Methods

第一次做PRML的读书笔记，哈哈....开个头

6.1 对偶表示

许多回归的线性模型和分类的线性模型的公式都可以使用对偶表示重写。使用对偶表示形式，核函数可以自然地产生。 

举例。。。

对偶公式的优点是：它完全通过核函数k(x,x')表示。于是我们可以直接针对核函数计算，避免显式地引入特征向量 ϕ(x)。这使得我们可以隐式地使用高维特征向量，或者无限维特征向量。

  在6.4节，我们会研究回归的概率线性模型和高斯过程方法的对偶性。

在第7章讨论支持向量机的时候，对偶性也起着重要的作用。

在知乎上看到的：1、kernel有种说法是种trick，是一种线性到非线性的映射技巧。其实就是把内积计算从一种线  性映射转换成一种非线性映射。

    2、几乎所有涉及到距离计算的方法都可以kernel化。

   6.2 构造核

    为了利用核替换，我们需要能够构造合法的核函数。

    一种方法是选择一个特征空间映射 ϕ(x) ，然后使用这个映射寻找对应的核。