SVM分类器解读

支持向量机的核心知识是点到直线距离计算、拉格朗日乘子法、求偏导和数值计算法。

思路：

第一：计算点到直线的距离；

第二：确定影响距离的关键系数w；

第三：对第二步骤确定的关键系数构建拉格朗日乘子方程L；

第四：对L进行求偏导，得出两个系数w和b的表示形式，得到1式和2式；

第五：将1式和2式代入L得到对偶问题方程式L'；

第六：L‘和2式组成不等式方程组，利用数值计算法/线性规划法进行计算，解L的系数阿尔法；

第七：根据上一步求出的阿尔法计算另外的两个系数w和b；

第八：将求得的系数代入L，即可得到最终的分类器。

http://blog.sina.com.cn/s/blog_4298002e010144k8.html

http://www.docin.com/p-1313178046.html

https://www.zhihu.com/question/21094489

范数

范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。半范数可以为非零的矢量赋予零长度。

定义范数的矢量空间是赋范矢量空间；同样，定义半范数的矢量空间就是赋半范矢量空间。

注：在二维的欧氏几何空间 R中定义欧氏范数，在该矢量空间中，元素被画成一个从原点出发的带有箭头的有向线段，每一个矢量的有向线段的长度即为该矢量的欧氏范数。

半范数

假设

  

是域

  

上的矢量空间，V的半范数是一个函数

  

，

  

，满足：

 

（非负性）

 

（正值齐次性）

 

(三角不等式).

范数=半范数+额外性质

赋范线性空间

 

若

  

是数域上的线性空间，泛函

  

满足：

(1)正定性：

  

，且

  

；

(2)正齐次性：

  

；

(3)次可加性（三角不等式）：

  

。

那么，

  

称为

  

上的一个范数。

如果线性空间上定义了范数，则称之为赋范线性空间。

当且仅当

  

是零矢量(正定性）时，

  

是零矢量；若拓扑矢量空间的拓扑可以被范数导出，那么这个拓扑矢量空间被称为赋范矢量空间。

内积、度量、拓扑和范数的关系

(1) 范数

  

度量

  

拓扑：

  

，因此赋范线性空间是度量空间；但是由度量不一定可以得到范数。

(2) 如果赋范线性空间作为（由其范数自然诱导度量

  

的）度量空间是完备的，即任何柯西(Cauchy）序列在其中都收敛，则称这个赋范线性空间为巴拿赫（Banach）空间。

(3) 内积

  

范数：

  

；范数不一定可以推出内积；当范数满足平行四边形公式

  

时，这个范数一定可以诱导内积；完备的内积空间称为希尔伯特空间。

(4) 如果去掉范数定义中的正定性，那么得到的泛函称为半范数（seminorm或者叫准范数），相应的线性空间称为赋准范线性空间。

对于X上的两种范数

  

，

  

，若存在正常数C满足：

那么称

  

弱于

  

。如果

  

弱于

  

且

  

弱于

  

，那么称这两种范数等价。

可以证明，有限维空间上的范数都等价，无限维空间上至少有阿列夫（实数集的基数）种不等价的范数。

算子范数

编辑

如果

  

和

  

是巴拿赫空间，

  

是

  

的线性算子，那么可以按下述方式定义

  

：

根据定义容易证明：

对于多个空间之间的复合算子，也有，

  

。

如果一个线性算子T的范数满足

那么称T是有界线性算子，否则称T是无界线性算子。

如，在常用的范数下，积分算子是有界的，微分算子是无界的。

容易证明，有限维空间的所有线性算子都有界。

空间范数

编辑

基本性质

有限维空间上的范数具有良好的性质，主要体现在以下几个定理：

性质1：

对于有限维赋范线性空间的任何一组基，范数是元素（在这组基下）的坐标的连续函数。

性质2（Minkowski定理）：

有限维线性空间的所有范数都等价。

性质3（Cauchy收敛原理）：

实数域（或复数域）上的有限维线性空间（按任何范数）必定完备。

性质4：

有限维赋范线性空间中的序列按坐标收敛的充要条件是它按任何范数都收敛。

常用范数

这里以Cn空间为例，Rn空间类似。

最常用的范数就是p-范数。若

  

，那么

可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski）不等式。

当p取

  

的时候分别是以下几种最简单的情形：

1-范数：║x║1=│x1│+│x2│+…+│xn│

2-范数：║x║2=（│x1│2+│x2│2+…+│xn│2）1/2

∞-范数：║x║∞=max（│x1│，│x2│，…，│xn│）

其中2-范数就是通常意义下的距离。

对于这些范数有以下不等式：║x║∞ ≤ ║x║2 ≤ ║x║1 ≤ n1/2║x║2 ≤ n║x║∞

另外，若p和q是赫德尔（Hölder）共轭指标，即1/p+1/q=1，那么有赫德尔不等式：

|<x,y>| = ||xH*y| ≤ ║x║p║y║q

当p=q=2时就是柯西-许瓦兹（Cauchy-Schwarz）不等式。

什么是对偶问题
任何一个求极大化的线性规划问题都有一个求极小化的线性规划问题与之对应，反之亦然，如果我们把其中一个叫原问题，则另一个就叫做它的对偶问题，并称这一对互相联系的两个问题为一对对偶问题。

生产计划问题（资源利用问题）

胜利家具厂生产桌子和椅子两种家具。桌子售价50元/个，椅子销售价格30/个，生产桌子和椅子要求需要木工和油漆工两种工种。生产一个桌子需要木工4小时，油漆工2小时。生产一个椅子需要木工3小时，油漆工1小时。该厂每个月可用木工工时为120小时，油漆工工时为50小时。问该厂如何组织生产才能使每月的销售收入最大？

数学模型

          max g=  50x1 + 30x2                                               

          s.t.     4x1 + 3x2 <=120  

                  2x1 + x2 <=50

                  x1,x2 =>0

如果我们换一个角度，考虑另外一种经营问题。 假如有一个企业家有一批等待加工的订单，有意利用该家具厂的木工和油漆工资源来加工他的产品。因此，他要同家具厂谈判付给该厂每个工时的价格。可以构造一个数学模型来研究如何既使家具厂觉得有利可图肯把资源出租给他，又使自己付的租金最少？

假设  y1,  y2 分别表示每个木工和油漆工工时的租金，则所付租金最小的目标函数可表示为：

                  min  s = 120 y1 + 50 y2

目标函数中的系数 120，50 分别表示可供出租的木工和油漆工工时数。

该企业家所付的租金不能太低，否则家具厂的管理者觉得无利可图而不肯出租给他。因此他付的租金应不低于家具厂利用这些资源所能得到的利益：

                   4 y1 + 2y2 =>50

                   3 y1 + y2 =>30

                   y1, y2 =>0

得到另外一个数学模型

              min  s = 120  y1 + 50 y2

              s.t.       4 y1 + 2y2=> 50

                        3 y1+ y2 =>30

                        y1, y2 =>0

这两个模型既有区别又有联系。联系在于它们都是关于家具厂的模型并且使用相同的数据，区别在于模型反映的实质内容是不同的。模型1是站在家具厂经营者立场追求销售收入最大，模型2是则站在家具厂对手的立场追求所付的租金最少。如果模型1称为原问题，则模型2称为对偶问题。任何线性规划问题都有对偶问题，而且都有相应的意义。

线性规划的对偶关系：

数学模型

(1).Max  S = C x

s.t.   Ax <= b

        x=> 0

(2).Min  G= yb

   s.t.   yA=>C

          y=> 0

称作互为对偶问题。其中一个称为原问题，另一个称为它的对偶问题。

该问题为原始问题：

min S=12x1+8x2 +16x3+12x4       

s.t.       2x1+  x2 +4x3         =>  2

            2x1+2x2           + 4x4  => 3

             x1，x2 ， x3 ， x4  => 0

min S=12x1+8x2 +16x3+12x4 

s.t.       2x1+  x2 + 4x3    => 2      y1

          2x1+ 2x2 +   4x4 => 3      y2

          x1，x2 ， x3 ， x4 => 0

该问题的对偶问题为：

max g = 2y1 + 3y2

s.t.     2y1 + 2y2 <= 12

         y1 + 2y2 <= 8

            4 y1 <= 16

            4y2 <= 12

         y1，y2 => 0

max S = 10x1 + x2  + 2x3

s.t.     x1 +  x2 + 2x3 <= 10     y1

       4x1 + 2x2 -  x3 <= 20     y2

           x1，x2 ， x3 => 0

min g = 10 y1 + 20 y2

s.t.     y1 + 4y2 => 10

        y1 + 2y2 =>1

      2 y1 -   y2 => 2

        y1，y2 => 0

写出下列线性规划问题的对偶问题

           min S = 2x1 + 3x2 - 5x3

s.t.         x1+  x2 -    x3 => 5

            2x1          +  x3    = 4

             x1，x2 ， x3 => 0

min S = 2x1 + 3x2 - 5x3

s.t.           x1+  x2 -    x3 => 5        y1

             2x1        +  x3 => 4      y2’

           -2x1          - x3 =>-4       y2”

               x1，x2 ， x3 => 0

max g = 5 y1+ 4y2’- 4y2”

s.t.          y1 +2y2’- 2y2” <= 2

           y1          <= 3

          -y1 + y2’- y2”    <= -5

           y1， y2’，y2” =>0

令y2 = y2’- y2” 得到:

        max g = 5 y1 + 4y2

s.t.         y1 + 2y2 <= 2

              y1  <= 3

         -y1+  y2  <= -5

y1 => 0 ，y2 无非负约束。

此类问题称为非对称型对偶问题。前面的问题称为对称型对偶问题。若原规划中有等式约束,则与之对应的对偶变量无非负限制。根据对偶规划的对称性,若原规划某个变量无非负限制,则与之对应的对偶约束为等式约束。

zz from http://www.caogenit.com/caogenxueyuan/yingyongfangxiang/rengongzhineng/1361.html