k-近邻算法(kNN)
来源:互联网 发布:网络语言实锤是什么梗 编辑:程序博客网 时间:2024/04/28 13:42
引言
本节介绍kNN算法的基本理论以及如何使用距离测量的方法分类物品。其次,将使用python从文本文件中导入并解析数据,然后,当存在许多数据来源时,如何避免计算距离时可能碰到的一些常见的错识。
k-近邻算法概述
k-近邻(k Nearest Neighbors)算法采用测量不同特征之间的距离方法进行分类。它的工作原理是:存在一个样本数据集合,并且样本集中每个数据都存在标签,即我们知道样本每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
k-近邻算法的优点是精度高,对异常值不敏感,无数据输入假定;缺点是计算复杂度高、空间复杂度高。适用于数值和标称型数据。
准备知识:使用python导入数据
首先,创建名为kNN.py的python模块,然后添加下面代码:
from numpy import *import operatordef createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0.1]]) labels =['A','A','B','B'] return group,labels
进入python开发环境之后,输入以下命令如下:
>>> import kNN>>> group,labels =kNN.createDataSet()>>> grouparray([[ 1. , 1.1], [ 1. , 1. ], [ 0. , 0.1]])>>> labels['A', 'A', 'B', 'B']
实施kNN算法
使用k-近邻算法将每组数据划分到某个类中,其伪代码如下:
对未知类别属性的数据集中的每个点依次执行以下操作:
- 计算已知类别数据集中的点与当前点之间的距离;
- 按照距离递增交序排序;
- 选取与当前点距离最小的k个点;
- 确定前k个点所在类别的出现频率;
- 返回前k个点出现频率最高的类别作为当前点的预测分类。
python函数classify( )程序如下所示:
def classify(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize,1)) - dataSet sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances**0.5 sortedDistIndicies = distances.argsort() classCount={} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]注:classify( )函数有4个输入参数:用于分类的输入向量是inX,输入的训练样本集为dataSet,标签向量为labels,最后的参数k表示用于选择最近邻据的数目,其中标签向量的元素数目和矩阵dataSet的行数相同。
示例:使用k-近邻算法改进约会网站的配对结果
在约会网站上使用k-近邻算法的步骤:
- 收集数据:提供文本文件。
- 准备数据:使用python解析文本文件。
- 分析数据:使用Matplotlib画二维扩散图。
- 训练算法:此步骤不适用于k-近邻算法。
- 测试算法:使用部分数据作为测试样本。测试样本与非测试样本的区别在于:测试样本是已经完成分类的数据,如果预没分类与实际类别不同,则标记为一个error.
- 使用算法:产生简单的命令行程序,然后可以输入一些特征数据以判断对方是否为自己喜欢的类型。
准备数据:从文本文件中解析数据
将数据存放到文本文件,每一个样本数据占据一行,总共1000行。首先,必须将特处理数据改变为分类器可以接受的格式。在kNN.py中创建file2matrix的函数,以此来处理输入格式问题。将文本记录转换为NumPy的解析程序如下所示:
def file2matrix(filename): fr = open(filename) numberOfLines = len(fr.readlines()) #get the number of lines in the file returnMat = zeros((numberOfLines,3)) #prepare matrix to return classLabelVector = [] #prepare labels return fr = open(filename) index = 0 for line in fr.readlines(): line = line.strip() listFromLine = line.split('\t') returnMat[index,:] = listFromLine[0:3] classLabelVector.append(int(listFromLine[-1])) index += 1 return returnMat,classLabelVector
分析数据:使用Matplotlib创建散点图
首先我们使用Matplotlib制作原始数据的散点图.如下程序所示:
import matplotlibimport matplotlib.pyplot as pltfig = plt.figure()ax = fig.add_subplot(111)ax.scatter(datingDataMat[:,1],datingDataMat[:,2])plt.show( )
准备数据:归一化数值
程序如下所示:
def autoNorm(dataSet) minVal =dataSet.min(0) maxVal =dataSet.max(0) ranges =maxVal-minVal normDataSet = zeros(shape(dataSet)) m = dataSet.shap[0] normDataSet = dataSet - tile(minVal,(m,1)) normDataSet = normDataSet/tile(ranges.(m,1)) return normDataSet,ranges, minVal
参考资料
[1]Peter Harrington, "Machine Learning in Action" ISBN 9781617290183,Printed in the United States of America. Manning Publications.
关于Machine Learning &Pattern Recognition更多讨论与交流,敬请关注本博客和新浪微博songzi_tea.
转自:http://blog.csdn.net/songzitea/article/details/20789079
参考:http://www.cnblogs.com/finallyliuyu/archive/2010/09/26/1836285.html
- k-近邻算法(kNN)
- k-近邻算法(kNN)
- k近邻算法(kNN)
- KNN(K近邻)算法
- KNN(k近邻算法)
- K-近邻算法(KNN)
- KNN ( K近邻算法 )
- k近邻算法(kNN)
- K-近邻算法:KNN
- k-近邻算法(kNN)
- kNN-k近邻算法
- K近邻算法-KNN
- K近邻算法-KNN
- kNN(k近邻算法)
- KNN,k-近邻算法
- KNN(K近邻算法)
- kNN k-近邻算法
- KNN(k近邻算法)
- java中substring的用法
- ZOJ 2105 Number Sequence
- Java出现死锁了?
- Windows下wxApp的locale设置
- LeetCode Palindrome Partitioning II
- k-近邻算法(kNN)
- 常用adb命令
- java23种设计模式--策略模式(strategy)
- #define宏的特殊用法
- configure时添加cflag编译选项
- 看云烟袅袅,薄如纱衣
- 路由器的VLAN功能
- 算法:全排列的一点点思考
- android build document command