感知机

概念

1. 感知机是根据输入实例特征向量x对其进行二分类的线性分类模型:
   

   f(x)=sign(w⋅x+b)
   
   感知机模型对应于输入空间（特征空间）的分离超平面是w⋅x+b=0

2. 感知机学习策略是极小化损失函数：
   

   minw,bL(w,b)=−∑xi∈Myi(w⋅xi+b)
   
   损失函数对应于误分类点到分离超平面的总距离，M是误分类点集合。

3. 感知机学习算法是误分类驱动的，基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。学习过程中随机选取一个误分类点进行学习，使其梯度下降。感知机模型参数更新过成为，随机选取一个误分类点(xi,yi)，对w,b进行更新：
   

   w←w+ηyixib←b+ηyi