感知机

特点

• 二分类的线性分类模型
• 对应于输入空间中的超平面
• 属于判别模型，是神经网络和SVM的基础
• 分为原始形式和对偶形式

一般以误分类（错误率）作为损失函数，利用梯度下降法对损失函数进行极小化。

f(x)=sign(wx+b)

其中，w是超平面法向量，b是超平面截距，wx+b=0即表示超平面

算法

算法伪代码：
注：感知机学习算法采用不同的初值或先去不同的误分类点，解可能不同。

收敛性

Novikoff定理表明，在算法过程中选取的点为误分类点的次数k是有上限的，因此，该定理也就表明了对于线性可分的训练集，经过有限次搜索可以找到完全将训练集分开的超平面。

注：
训练集线性可分时
* 感知机：收敛，多解
* SVM：收敛，唯一解

训练集不线性可分时
* 感知机：不收敛，结果震荡