李政轩讲核方法kernel Method 视频笔记

课程链接：http://www.powercam.cc/slide/6552

Kernel Method 的基本思想：

                        

Kernel的基本思想是，将低维空间不可分数据映射到高纬度的空间，比如说左图的数据是线性不可分的，分界线是：

，将数据映射到三维空间，就可以得到线性的分类面，

总结：在低维空间线性不可分，映射到高纬空间，线性可分的概率会增大，比如说，数据在一维空间线性可分的难度比二维空间线性可分的难度大，二维空间线性可分的难度比在三维空间线性可分的难度大。以此类推。

Kernal的另一个关键点事Kernal Function:

                         

2维空间映射到3维空间的结果是：

，在映射后的空间的内积为：

。
也就是说，我们的内核函数K()，计算的是新空间的数据点之间的相似度。

内核方法总结：1、将数据从低维映射到更高维。2，映射到高维后，数据可以线性可分。3、kernel function可以计算高纬度空间的几何性质，角度，距离，并不需要得到映射函数.

现在推导，可以利用kernel function计算高纬度空间的距离，角度。

                               

总结：在高维空间中要计算数据向量之间的角度，距离，只需要知道kernel function即可，并不需要知道.

        现在引出内积矩阵，也叫做Gram Matrix ,Kernel Matrix。Kernel Matrix其实就是把所有的样本点映射到高维空间，然后在高维空间中计算内积，形成内积矩阵。内积矩阵的计算，也只需要，kernel function,不需要映射函数

                                                           

现在，举个小例子，讲解kernel function 的使用。

                                  

在地位空间中的数据点:,映射到高纬空间得到，图中坐标系画的是在高维空间中的数据分布，显而易见，在高维的空间中，数据已经是线性可分了，那么如何找到分类平面和相应的决策函数呢。

                                                       

其中，，是正类别（标签值为+1的数据的中心点），是负类别（标签值为-1的数据的中心点）

。那么中间那条虚线就是对应于我们的分类平面，虚线和红线的交点坐标为，。

那样就可以得到决策函数如下：

                                  

                                 

所有，要判断在高维的空间中，未知的点对应的表是啥，关键是计算出。那么如何用核函数计算出y呢？ 推导如下：

                                 

其中，b也是可以用kernel function函数解决的，所以，只要我们知道kernel function 我们是可以用k来计算出y的。

        现在进行总结：对于kernel function 映射函数是不一定需要的，只要有kernel function即可，但是不是随便定义一个kernel function 就可以找到相应的映射,其kernel matrix 是半正定矩阵。

                         

现证明k（x,z)=<x,z>对应的kernel function是正半定矩阵。

                           

上图中，不同的r值代表mapping到不同的空间

Dual Representation:

在读关于核映射的paper时，我们经常看到如下式子：

                                                                                

如果是预测问题，那么f(x)就是预测值，如果是分类问题，那么f(x)就是对应的类别。举个例子，对于刚才我们的分类问题，

                                                      

        可以看出，W是的线性组合，所以，判决平面完全由训练样本所控制的。在统计上面有个定理，因为我们所掌握的只是训练数据，所以，我们计算处理的判决平面，投影方向等等，都是由训练样本所决定的。