感知机

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机1957年由Rosenblatt于提出，是神经网络和支持向量机的基础。

模型

关于其定义，我还是认为看书比较清晰。而其背后含义，就像二维空间里一条线段一样，将正负样本分开；而感知机是在其特征空间找到一个超平面，将正负样本分开来。

策略

1. 学习策略就是定义损失函数并将损失函数极小化。
2. 损失函数的选择是误分类点到超平面的总距离。

综合来看，感知机学习的策略是在假设空间中选取使损失函数式最小的模型参数w,b.

算法

1、原始形式

原始形式算法的解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整w,b的值，使得分离超平面向该误分类的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

2、对偶形式

对偶形式的基本想法是，将w,b表示为实例x i  和标记y i  的线性组合的形式，通过求解其系数而求得w,b.

Example

下图是两种算法的手写分析过程：