线型感知机

1、判别分类模型

假设输入空间X中的每个特征x取值为实数集，输出空间y = {-1,+1}，那么一个分类器可以表示为二值函数

    

其中输出值为1的样本为正例，输出值为-1的样本为负例。线性感知机的假设前提是样本空间线性可分，既有一个超平面能够将特征空间划分为两个部分

 

2、感知机模型

    

若给定的向量特征向量X带入g(x)  0则样本为正例，否则为负例。那么对感知机的学习过程就是对w, b的估计

 

3、损失函数

感知机的学习过程是定义一个损失函数，通过学习策略使得损失函数的值最小化。它的定义为误分类点到超平面的的总距离，点到超平面的距离定义为

    

是的L2范数，对于误分类点(x,y)来说 -y(wx + b)>0。因此误分类点到超平面的总距离为

    

与支持向量机不同，线性感知机不需要考虑最大间隔问题，所以不考虑，那么最终的损失函数为

    

 

4、学习算法

感知机学习算法是误分类驱动的。具体采用随机梯度下降的方法。任意选取一个超平面w,b然后用梯度下降的法部队极小化目标函数，极小别化的过程不是一次使无分类集合M中的所有误分类点的梯度下降，儿是一次随机选取一个误分类点使其梯度下降。损失函数L的梯度是对w,b分别求偏导

    

    

   

  (1)、选取初值w,b

  (2)、在训练集中选取数据(xi,yi)

  (3)、如果

     

     

  (4)、转至(2)， 直到训练集没有误分类点

 

5、对偶形式

(3)中的增量可以用和表示为更一般的式子，其中

    

    

所以损失函数为

    

其中

梯度为

    

    

 

6、Gram矩阵

上式中出现表示向量内积的形式，为了简化运算，对于样本实例间的内积计算可以以矩阵形式预先算好，Gram矩阵：