KNN算法Python实现(代码来自机器学习实战)及注释
来源:互联网 发布:来自mac的照片怎么删除 编辑:程序博客网 时间:2024/06/07 00:27
kNN算法是k-近邻算法的简称,主要用来进行分类实践,主要思路如下:
1.存在一个训练数据集,每个数据都有对应的标签,也就是说,我们知道样本集中每一数据和他对应的类别。
2.当输入一个新数据进行类别或标签判定时,将新数据的每个特征值与训练数据集中的每个数据进行比较,计算其到训练数据集中每个点的距离(下列代码实现使用的是欧式距离)。
3.然后提取k个与新数据最接近的训练数据点所对应的标签或类别。
4.出现次数最多的标签或类别,记为当前预测新数据的标签或类别。
欧式距离公式为:
distance= sqrt((xA0-XB0)^2+(xA1-XB1)^2+...+(xAn-XBn)^2)(若数据有n个特征项)
以下为代码实现:
#! /usr/bin/python#coding=utf-8from numpy import *import operatordef createDataSet():group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])#训练数据样本集合labels = ['A','A','B','B']#训练数据对应的类别return group,labels'''inX:用于分类的输入向量dataSet:训练样本集合labels:标签向量k:k-近邻算法中的k'''def classify0(inX,dataSet,labels,k):dataSetSize = dataSet.shape[0] #获取数组的维度,也就是获取训练样本的行数(样本数),若获取列数,则为shape[1]diffMat = tile(inX,(dataSetSize,1)) - dataSet # tile 表示inX在重复dataSetSize行,重复1列。为输入向量与各个样本求取欧式距离做准备。sqDiddMat = diffMat**2 #diffMat是输入向量与我们训练样本每个点相减得到的,**2表示值的结果取平方。sqDistances = sqDiddMat.sum(axis=1)#默认为axis=0,axis=1以后就是将一个矩阵的每一行向量相加distances = sqDistances**0.5 #对结果进行开平方,得到输入向量与每个训练样本中点的欧式距离sorteDistIndicies = distances.argsort()#将距离结果按照从小到大排序获得索引值classcount={} #这是一个字典,key为类别,value为距离最小的前k个样本点里面为该类别的个数。for i in range(k):voteIlabel = labels[sorteDistIndicies[i]]#获取距离最小的前k个样本点对应的label值classcount[voteIlabel] = classcount.get(voteIlabel,0)+1 #如果之前的样本点label值与与现在的相同,则累计加1,否则,此次加1sorteClassCount = sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True) #针对calsscount获取对象的第1个域的值进行降序排序。也就是说根据类别的个数从大到小排序。return sorteClassCount[0][0] #返回排序的字典的第一个元素的key,即分类后的类别createDataSet()print classify0([0.9,0.9],group,labels,3)结果为A
阅读全文
0 0
- KNN算法Python实现(代码来自机器学习实战)及注释
- 机器学习实战:KNN 代码注释(python)
- 机器学习实战 第二章KNN(1)python代码及注释
- 机器学习实战代码详细注释之kNN算法
- 机器学习实战ch02 KNN k-近邻算法代码注释
- 决策树算法代码实现及注释(代码来自于机器学习实战)
- 机器学习实战——python实现knn算法
- 学习笔记——《机器学习实战》KNN算法实现 约会网站测试,手写数字识别,代码,注释,错误修改
- Python机器学习实战kNN分类算法
- 机器学习实战2:k近邻算法KNN(python)
- 机器学习经典算法之KNN及python实现
- 《机器学习实战》(一)knn算法
- Python机器学习(二)--kNN算法实现
- 机器学习之PYTHON实现KNN算法
- 【机器学习】使用python实现kNN算法
- 机器学习KNN python算法实现
- 机器学习之KNN算法python实现
- Knn算法(机器学习)入门(Python实现)
- xhsell 产品注册码
- Tylor Expansion Example
- 热血传奇客户端wil文件中文含义详解
- Python 如何绘制圆,Python绘制圆(超棒!!)
- [Leetcode] 432. All O`one Data Structure 解题报告
- KNN算法Python实现(代码来自机器学习实战)及注释
- 获取src-webapp下的文件夹的文件
- 课后作业之构造法
- 【py-faster-rcnn】【RPN】通过代码理解faster-RCNN中的RPN
- 文件的上传
- java中的try...catch...finally的运行机制你知道吗?
- JZOJ5453. 【NOIP2017提高A组冲刺11.5】好路线
- ASM 汇编
- Ubuntu 16.04 安装 uTorrent