论分类(三)-感知器篇(续)

刚才我们领略了感知器分类的能力，并且提到了感知器的学习算法，对于这个算法是怎么样一步步具体来的有兴趣的朋友可以自己试着找下。但这里还有个问题，算法有个基本要求就是有穷性，但是上述所给的感知器算法会不会死循环一直进行下去呢，在这可以可以明确的告诉大家,算法在线性可分的情况下一定会停止的，具体证明过程可以参见有关书籍这里就不给出了。刚刚说在线性可分的情况下感知器就能区分出来我们要分类的数据，这也就是告诉了我们感知器的能力极限是线性可分的数据集合，可能这里有人会问什么样的样本点集才是线性可分的呢，这儿可以简单地说明下。假设分类的两类点集A与B,我们将其中每一个点都扩展一个维度，原来点x变成(x,1)，这样形成一个新的点集合A'与B',构造一个新的点集D=A'∪(-B'),点集合D形成的凸闭包S，如果S不包含原点，那么A与B就线性可分，否则线性不可分。回到刚才的话题，我们已经知道了感知器的极限是线性可分，然而针对同一个线性可分的点集合A与B,会有不同的感知器，如图(4)区分点集A与B感知器不仅限于L₂与L₁。那么在这两个感知器中谁的分类能力会更加好些呢，显然由于L₁能将A与B的两类点区分的更加开，L₂明显L₁没有L₂的分类能力好。所以为了使得我们的感知器的分类能力更加强，那么我们就找那个能够将数据分割的最开的感知器。那么我们该如何定义分割的最开，以及我们又如何去寻找这样一个感知器呢？

图(4)

对于如何定义分割的最开，直觉上我们觉得点集中的点距离给定的超平面的距离越远越好，说到点到超平面的距离，上过高中的同学肯定都知道点到直线的距离公式f(x,y)/√A²+B²，这个数学公式吧，同样在N维空间中点到超平面的距离d=(ω^T*X+b)/||ω||,这样所有的样本点集到超平面的距离构成集合D={d},我们并不是对所有的点到超平面的距离都感兴趣，我们更加关心所有的点到超平面的最小距离d_mim=min{d},有了d_mim这个值我们就可以比较两个感知器的分类能力，很明显感知器所对应的d_mim越大越好。