机器学习——感知机(笔记+代码)

机器学习——感知机

感知机模型定义：
1、输入空间,目的是根据数据求出一个f(x),使得输入空间映射的输出空间；

当= 0时是一个超平面，该平面讲空间中的数据分成两类，这就是感知机的二分模型。我们的目的是找到一个当使得具有最好（在训练集上最好，）的分类效果。其中，叫做权重向量（或者是法向量），叫做偏移值（或者是截距）。
图例：

参数的学习策略：
数据集：,要求数据集线性可分。
目标：

我们的任何优化问题，都是基于损失函数最小化进行求解的，因此现在需要找到损失函数；
1、错误分类的点的个数，（不是w，b的连续可导函数，不易于优化，这个概念很重要）
2、错误分类的点到超平面的距离，（与上面相对，可以进行求导优化（梯度））
例如x0到超平面s的距离：

从上面目标可知，错误分类的点满足：，因此误分类的点到超平面s的距离是：，==> 总的误分类距离的和是。M:是误分类的集合。
运算的时候，可以忽略确定的系数，因此的损失函数可以定义为：

目标是最小化损失函数，求导得到极小值（专业点叫做随机梯度下降）；

求解：

注意：算法有可能会陷入局部最优。

Code：

# coding: utf-8# In[4]:import numpy as npimport scipy as spimport matplotlib.pyplot as plt# In[71]:class Perceptron:    trainSet = np.nan    labels = np.nan    w = 0    b = 0    def __init__(self):       pass    def plot(self):        '''        显示每一次的直线的位置        '''        for i in range(self.trainSet.shape[0]):            if self.labels[i] == 1:                plt.scatter(self.trainSet[i][0],self.trainSet[i][1],marker = 'o', s=200, c='red')            else:                plt.scatter(self.trainSet[i][0],self.trainSet[i][1],marker = 'x', s=200, c='black')        x = np.arange(0, 5)        y = -(x * self.w[0] + self.b) / self.w[1]        plt.plot(x,y,c = 'blue')        plt.show() # 显示训练的过程    def plotAll(self):        w = np.zeros(self.trainSet.shape[1])        b = 0        learnRate = 1        flag = True        length = self.trainSet.shape[0]        i = 0        while flag:            flag = False            for i in range(length):                t = self.labels[i] * (np.sum(self.trainSet[i] * w) + b)#                 print(t)                if t <= 0: #错误分类的点，修改权重                    w = w + learnRate * self.labels[i] * self.trainSet[i]                    b = b + learnRate * self.labels[i]                    flag = True            print(w,b)            i += 1        # 修改类的值            self.w = w            self.b = b             # plot            for i in range(self.trainSet.shape[0]):                if self.labels[i] == 1:                    plt.scatter(self.trainSet[i][0],self.trainSet[i][1],marker = 'o', s=200, c='red')                else:                    plt.scatter(self.trainSet[i][0],self.trainSet[i][1],marker = 'x', s=200, c='black')            x = np.arange(0, 5)            y = -(x * self.w[0] + self.b) / self.w[1]            plt.plot(x,y,c = 'blue')        plt.show()    def loadDataSet(self,trainData,labels):        '''        格式化训练数据        '''        return np.array(trainData), np.array(labels)    def fit(self,trainData,label,learnRate=1):        '''        原始训练数据和labels，以及学习率(0 < learnRate <= 1)        '''        self.trainSet = np.array(trainData)        self.labels = np.array(label)        w = np.zeros(self.trainSet.shape[1])        b = 0        flag = True        length = self.trainSet.shape[0]        while flag:            flag = False            for i in range(length):                t = self.labels[i] * (np.sum(self.trainSet[i] * w) + b)#                 print(t)                if t <= 0: #错误分类的点，修改权重                    w = w + learnRate * self.labels[i] * self.trainSet[i]                    b = b + learnRate * self.labels[i]                    flag = True#             print(w,b)        # 修改类的值            self.w = w            self.b = b#             self.plot()        return w, b    def predict(self,testSet):        '''        测试数据        '''        data = []        if type(testSet[0]) is not list:            data.append(testSet)            testSet = np.array(data)        else:            testSet = np.array(testSet)#         print(testSet, testSet.shape[0])        result = []        for i in range(testSet.shape[0]):            a = np.sign(np.sum(self.w * testSet[i]) + self.b)#             print(a,np.sum(self.w * testSet[i]) + self.b)            result.append(a)        return result# In[72]:perceptron =  Perceptron()# [[1,1],[1,2],[2,1],[4,4],[4,5],[5,6]],[+1, +1, +1, -1, -1, -1]# In[73]:perceptron.fit([[1,1],[1,2],[2,1],[4,4],[4,5],[5,6]],[+1, +1, +1, -1, -1, -1])# In[74]:# perceptron.plotAll()# In[76]:perceptron.predict([[2,2],[1,2],[4,3]])