《机器学习实战》读书笔记之k-近邻算法
来源:互联网 发布:vmware软件购买 编辑:程序博客网 时间:2024/05/17 03:16
k-近邻算法概述
k-近邻算法采用测量不同特征值之间的距离方法进行分类。
准备:使用Python导入数据
创建名为kNN.py的Python模块,本章使用的所有代码都在这个文件中。
编写通用函数
from numpy import *import operator #执行排序时需要用到运算符模块def createDataSet(): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group, labels保存kNN.py文件,进入其路径,输入下列命令导入该模块:
>>> import kNN
>>> group,labels = kNN.creatDataSet()
实施kNN算法
伪代码:对未知类别属性的数据集中的每个点依次执行以下操作:
1.计算已知类别数据集中的点与当前点之间的距离;
2.按照距离递增依次排序;
3.选取与当前点距离最小的k个点;
4.确定前k个点所在类别的出现概率;
5.返回前k个点出现频率最高的类别作为当前点的预测分类。
程序清单:
def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize,1)) - dataSet sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances**0.5 sortedDistIndicies = distances.argsort() classCount={} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]
>>> kNN.classify0([0,0], group,labels,3)
在约会网站上使用k-近邻算法
在约会网站上使用k-近邻算法
1.收集数据:提供文本文件。
2.准备数据:使用Python解析文本文件。
3.分析数据:使用Matplotlib画二维扩散图。
4.训练算法
5.测试算法
6.使用算法
准备数据:从文本文件中解析数据
数据共1000行,每个样本占据一行,包含3个特征。
def file2matrix(filename): fr = open(filename) arrayOLines = fr.readlines() numberOfLines = len(arrayOLines) returnMat = zeros((numberOfLines,3)) classLabelVector = [] index = 0 for line in arrayOLines: line = line.strip() listFromLine = line.split('\t') returnMat[index,:] = listFromLine[0:3] classLabelVector.append(int(listFromLine[-1])) index += 1 return returnMat,classLabelVector
分析数据:使用Matplotlib创建散点图
>>> import matplotlib>>> import matplotlib.pyplot as plt>>> fig = plt.figure()>>> ax = fig.add_subplot(111)>>> ax.scatter(datingDataMat[:,1],datingDataMat[:,2])>>> plt.show()
准备数据:归一化数值
def autoNorm(dataSet): minVals = dataSet.min(0) maxVals = dataSet.max(0) ranges = maxVals - minVals normDataSet = zeros(shape(dataSet)) m = dataSet.shape[0] normDataSet = dataSet - tile(minVals, (m,1)) normDataSet = normDataSet/tile(ranges, (m,1)) #element wise divide return normDataSet, ranges, minVals
测试算法:作为完整程序验证分类器
def datingClassTest(): hoRatio = 0.50 #hold out 10% datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') #load data setfrom file normMat, ranges, minVals = autoNorm(datingDataMat) m = normMat.shape[0] numTestVecs = int(m*hoRatio) errorCount = 0.0 for i in range(numTestVecs): classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3) print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]) if (classifierResult != datingLabels[i]): errorCount += 1.0 print "the total error rate is: %f" % (errorCount/float(numTestVecs)) print errorCount
手写识别系统
准备数据:将图像转换为测试向量
def img2vector(filename): returnVect = zeros((1,1024)) fr = open(filename) for i in range(32): lineStr = fr.readline() for j in range(32): returnVect[0,32*i+j] = int(lineStr[j]) return returnVect
使用k-近邻算法识别手写数字
确保将from os import listdir写入文件的起始部分
训练文件名例如:“1_30.txt”、“9_49.txt”等。
def handwritingClassTest(): hwLabels = [] trainingFileList = listdir('trainingDigits') #load the training set m = len(trainingFileList) trainingMat = zeros((m,1024)) for i in range(m): fileNameStr = trainingFileList[i] fileStr = fileNameStr.split('.')[0] #take off .txt classNumStr = int(fileStr.split('_')[0]) hwLabels.append(classNumStr) trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr) testFileList = listdir('testDigits') #iterate through the test set errorCount = 0.0 mTest = len(testFileList) for i in range(mTest): fileNameStr = testFileList[i] fileStr = fileNameStr.split('.')[0] #take off .txt classNumStr = int(fileStr.split('_')[0]) vectorUnderTest = img2vector('testDigits/%s' % fileNameStr) classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3) print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr) if (classifierResult != classNumStr): errorCount += 1.0 print "\nthe total number of errors is: %d" % errorCount print "\nthe total error rate is: %f" % (errorCount/float(mTest))
小结
k-近邻算法是分类数据最简单最有效的算法,必须保留全部数据集,占用存储空间大,耗时。
另一个缺陷是,它无法给出任何数据的基础结构信息,因此我们也无法知晓平均实例样本和典型实例样本具有什么特征。
1 0
- 《机器学习实战》读书笔记之k-近邻算法
- 机器学习实战之K-近邻算法
- 《机器学习实战》之K-近邻算法
- 机器学习实战之k-近邻算法
- 机器学习实战之K近邻算法
- 《机器学习实战》读书笔记:第二章 k-近邻算法
- 机器学习实战---读书笔记: 第2章 k-近邻算法
- 机器学习实战读书笔记-第一章k-近邻算法
- 《Python机器学习实战》第一章读书笔记:k-近邻算法
- 机器学习实战——K-近邻算法(读书笔记)
- 机器学习实战读书笔记(二) K-近邻算法
- 《机器学习实战》学习笔记之k-近邻算法1
- 《机器学习实战》学习笔记之k-近邻算法2
- 《机器学习实战》学习笔记之k-近邻算法3
- 《机器学习实战》学习笔记(三)之K-近邻算法
- 机器学习实战笔记之k-近邻算法
- 机器学习实战笔记之二(k-近邻算法)
- 2.机器学习实战之K-近邻算法
- Android音频实时传输与播放(三):AMR硬编码与硬解码
- Primes Product
- 设计模式之工厂模式
- 设备app共享和通讯
- iOS KVC/KVO
- 《机器学习实战》读书笔记之k-近邻算法
- An article about hash function for hash table
- Java方法与主方法
- How to set a badge value on a UITabBarController item
- 重构的认知(一)
- css中为什么经常见到img{dispaly:block}?
- 关于HTML标签的总结
- linux以rpm方式安装ftp软件
- CSS中background用法