感知器 机器学习算法

   所谓感知机，就是二类分类的线性分类模型，其输入为样本的特征向量，输出为样本的类别，取+1和-1二值，即通过某样本的特征，就可以准确判断该样本属于哪一类。顾名思义，感知机能够解决的问题首先要求特征空间是线性可分的，再者是二类分类，即将样本分为{+1, -1}两类。

  感知机函数f(x) = sign(w*x + b)称为感知机，w和b为感知机参数，w为权值（weight），b为偏置（bias）。sign()函数是符号函数，就是参数大于等于0时，函数输出为1，否则输出为-1.w*x是w和x的内积。

  因为x和w都是n维向量，所以分界函数w*x + b = 0是由一个超平面构成的。在超平面以下的输出为-1，在超平面以上的输出为1.因为这是监督学习的范畴，所以训练样本的输入和输出是已知的，我们只需要根据训练样本的空间得到感知机的模型便可以。所以x，y是已知的，未知的是向量w和偏移量b。感知机的评价标准是损失函数要最小。我们定义损失函数

其中M为误分类点的集合。显然损失函数越小，我们的模型越精确。所以我们应当找到适当的w和b的值。求损失函数的最小值，从而转化为求其梯度。

  对w求梯度

对b求梯度

我们选择误分类点，然后对其值进行更新

其中η是步长，又称为学习率。