RBF网络

径向基函数(RBF)
 一、简介 
       RBF (Radial Basis Function)可以看作是一个高维空间中的曲面拟合(逼近)问题，学习是为了在多维空间中寻找一个能够最佳匹配训练数据的曲面，然后来一批新的数据，用刚才训练的那个曲面来处理(比如分类、回归)。RBF的本质思想是反向传播学习算法应用递归技术，这种技术在统计学中被称为随机逼近。RBF里的basis function(径向基函数里的基函数)就是在神经网络的隐单元里提供了提供了一个函数集，该函数集在输入模式（向量）扩展至隐空间时，为其构建了一个任意的“基”。这个函数集中的函数就被称为径向基函数。


       很明显，RBF属于神经网络领域的东西，所以像很多神经网络一样，其结构由：输入层、隐层、输出层 三层组成。以前没介绍过神经网络，这里就具体介绍下这三层：






图1.神经网络示意图
       这三层课如图1所示，具体解释如下：
             输入层： 与外界环境连结起来。
             隐层： 从输入空间到隐空间之间进行非线性变换；
             输出层： 是线性的，为输入层的输入模式提供响应。
      二、映射到高维空间
      那为什么要做这这种高维空间曲面拟合呢，一般都是试图降维来处理数据啊，这里，就涉及到一些基本的定理：
      非线性变换的基本理论(Cover, 1965): 
             1.一个模式分类问题如果映射到一个高维空间将会比映射到一个低维空间更可能实现线性可分; 
             2. 隐空间的维数越高，逼近就越精确。

        注意，这里是非线性映射到高维空间，其目的是使得分类更加容易、精确，而且Cover的这个基本理论正好就说明了这个问题。关于更多的Cover非线性变换基本理论可以参考条目。

      三、怎样拟合


       本科时，很幸运的选了《数值分析》这门课，现在发现就用得上了，ps：我觉得很多课都不用认真学，但数学必须认真学，还要多学，因为专业课什么的，都可以自己看得懂，数学估计很难自学精通。拟合问题，非常典型的解决方法就是插值啊，各种插值公式，如牛顿插值、拉格朗日插值等等。现在的径向基函数就是要拟合出这样一个函数F(x)，如图2所示：


      


图2. 要找的F(x)


      其中，就是N个任意的函数(一般情况下，非线性)的集合，即所谓的径向基函数啊，|| ||表示范数。现在，就介绍下目前常用的三大径向基函数，如图3所示：






图3.RBF目前常用的三大径向基函数


       有了上面的基础知识，现在问题是，来了一批训练数据，你怎么拟合出高维曲面函数F(x)呢？其实，当你选定基函数集合(可以是图3的三个之一)了，你要做的就是通过训练数据来求出权值W啊。比如，训练数据形如：(xi,di)，其中di是值(即标注，分类标注)，则有


F(xi)=di，其中，i=1,2,3...n


     现在代入图2的公式，便有图4的推倒过程


       


图4.求权值推导过程


     令表示元素为的N*N阶的矩阵，即，则图4中的矩阵表示可以用图5表示：


 


图5.差值矩阵


       这样一来，如果非奇异的话，就能解出W，即图6所示：






图6.权值的解


       但这里有个很严重的问题啊，怎么保证插值矩阵非奇异呢，幸好，有Micchelli 定理做指导和保证，径向基函数非奇异，必须使所有的输入点 互不相同。

       这样，就相当于解决了拟合问题，即训练集里点互不相同即可。
/本篇文章来源于草根IT网，原文出处：http://www.caogenit.com http://www.caogenit.com/caogenxueyuan/yingyongfangxiang/rengongzhineng/1696.html