【优化】核方法(kernel method)超简说明

本文不做数学推导，仅从最简单的概念上讲解核方法。

问题

有训练样本xi，其标定yi, i=1,2…N。
欲求解一个回归函数f(z)，希望f(xi)=yi。

线性回归

使用线性函数来预测，即f(z)=wTz。
求解方法有许多种，以脊回归(Ridge Regression)为例，最小化下列函数即可：

λ||w||2+∑i(wTxi−yi)2

这个最小化问题有闭式解：

w=(XTX+λI)−1XTy

其中，X的第i行为xi，列向量y的第i元素为yi。

非线性回归

使用非线性函数来预测，即f(z)是关于z的非线性函数。
非线性函数能够处理线性函数搞不定的分类问题。
非线性函数的估计较难，为了提高效率，引入了核方法。

核方法

对z进行一个非线性变换ψ，f(z)是变换结果的线性函数：

f(z)=wTψ(z)

w由训练样本的非线性变换ψ(xi)的线性组合构成：

w=∑iαiψ(xi)

两者结合，得到完整形式：

f(z)=[∑iαiψ(xi)]ψ(z)=∑i[αiψ(xi)ψ(z)]

记κ(xi,xj)=ψ(xi)ψ(xj)，称为核函数。则：

f(z)=∑iαiκ(z,xi)=αTκ(z)

α为N×1矢量，κ(z)为N×1，第i个元素为训练样本xi和测试样本z的核函数值。

f(z)是关于z的非线性函数，但却是关于κ(z)的线性函数，可以使用线性函数的优化方法求解α。

同样以脊回归为例：

α=(K+λI)−1y

注：这个解对于原问题相当于w=X−1y，不过原问题中X不是方阵，所以要写成矩阵伪逆的形式。

我们称，原始参数w处于原空间prime space中，新参数α则处于对偶空间dual space中。

和真正的线性方法比起来，核方法在估计每一个z的标签时，需要计算z和训练集中每一个样本xi的核函数κ(z,xi)。其复杂度和训练集大小相关。