机器学习笔记（四） 感知机

       感知机是一个二分类的线性分类模型，即在特征空间中将实例划分为正负两类的分离超平面，是判别模型。感知机是神经网络和支持向量机的基础。

· 模 型

       感知机是如下函数来表示的输入空间到输出空间：

其中， w和b为感知机的模型参数，w为权值向量而b为偏置。

       感知机的几何解释是线性方程将特征空间划分为两个部分，那么位于这两个部分的实例分别被分为正负两类。

· 学习策略

      感知机学习的目的是根据训练数据集求得一个将正负实例点完全正确分开的分离超平面。那么学习的过程就是确定一个学习策略来选择模型参数w和b，即定义损失函数并将损失函数极小化。

      感知机的损失函数是误分类点到超平面的总距离。首先，输入空间任一点到超平面距离为那么误分类点到超平面的距离即为。所以，对于误分类点的集合M，其到超平面的总距离为。

       感知机的损失函数即为：

·  学习算法

       感知机学习算法是误分类驱动的，求解的目标为。具体的，采用随机梯度下降法来不断极小化损失函数。
      其中损失函数的梯度：

       算法步骤：①  任意选取一个超平面

                           ②  随机选取误分类点

                           ③  如果，那么采用梯度下降法，更新模型参数：

                           ④  转第二步直至训练集没有误分类点。

·  对偶形式

       对偶形式的基本想法就是，将模型参数w和b表示为实例的线性组合形式，然后通过求解其系数来求得w和b。
       已知在学习过程中不断通过来更新w和b，那么设修改了n次，w和b关于的增量分别为

       最后学习的w和b就可以表示为：

       对表示第i个实例点由于误分而进行更新的次数。实例点更新次数越多，意味着它距离超平面越近，也就越难分类正确，这些实例点对学习结果影响最大。

       一方面，感知机学习算法存在无穷多解，其解会由于不同的初值或不同的迭代顺序而可能不同。另一方面，感知机是不能表示异或的，这是因为a和b的异或结果 a XOR b ，异或的结果可以表示为：

      可以看出，从数据集线性可分性的角度证明XOR逻辑是非线性的，所以不能被感知机表示。

参  考

    李航《统计学习方法》