MLP && BP && RBF && SVM Neural Network

Reference Website : https://www.52ml.net/10070.html
http://www.cnblogs.com/eniac1946/p/7371805.html
http://www.cnblogs.com/zhangchaoyang/articles/2591663.html
https://www.52ml.net/12016.html

---

只要模型是一层一层的，并使用AD/BP算法，就能称作 BP Network。RBF Network 是其中一个特例。

自动微分（Automatic Differentiation，AD）是利用链式法则，自动生成求导程序的技术。广泛应用于数值优化，数值模拟等领域。常用的工具有：ADIC , ADiMat 等。

接下来简单介绍 RBF Network 相比一般 Neural Network 具有的特点。
机器学习的模型通常存在各种解读。相对正统的是统计上的解读。但这里只谈直观上的解读，以求易读。

RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

RBF网络学习收敛得比较快:
<1>当网络的一个或多个可调参数（权值或阈值）对任何一个输出都有影响时，这样的网络称为全局逼近网络。
由于对于每次输入，网络上的每一个权值都要调整，从而导致全局逼近网络的学习速度很慢。
BP网络就是一个典型的例子。
<2>如果对于输入空间的某个局部区域只有少数几个连接权值影响输出，则该网络称为局部逼近网络。
常见的局部逼近网络有RBF网络、小脑模型（CMAC）网络、B样条网络等。
CMAC http://blog.sina.com.cn/s/blog_6bfdc0e70100zxm4.html

BP : http://www.cnblogs.com/Finley/p/5946000.html
RBF : http://www.cnblogs.com/zhangchaoyang/articles/2591663.html

RBF网络是一个三层结构的前馈网，它的隐层为径向基神经元结构。径向基神经元的净输入采用距离函数（如欧式距离）乘以偏置，并使用径向基函数作为激活函数。
其中，R代表输入层并指出输入维数； 代表由径向基神经元构成的隐层并指出神经元数目； 是线性输出层。
它的基本思想是：用RBF作为“隐”单元的基构成隐含层空间，将输入矢量直接(即不需要经过权连接)映射隐空间；当RBF的中心确定后，映射关系也就确定了；隐含层空间到输出层空间直接的映射是线性的。