K近邻分类算法实现 in Python
来源:互联网 发布:python 技术指标 编辑:程序博客网 时间:2024/04/30 11:25
K近邻(KNN):分类算法
* KNN是non-parametric分类器(不做分布形式的假设,直接从数据估计概率密度),是memory-based learning.
* KNN不适用于高维数据(curse of dimension)
* Machine Learning的Python库很多,比如mlpy(更多packages),这里实现只是为了掌握方法
* MATLAB 中的调用,见《MATLAB分类器大全(svm,knn,随机森林等)》
* KNN算法复杂度高(可用KD树优化,C中可以用libkdtree或者ANN)
* k越小越容易过拟合,但是k很大会降分类精度(设想极限情况:k=1和k=N(样本数))
本文不介绍理论了,注释见代码。
KNN.py
from numpy import *import operatorclass KNN: def createDataset(self): group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group,labels def KnnClassify(self,testX,trainX,labels,K): [N,M]=trainX.shape #calculate the distance between testX and other training samples difference = tile(testX,(N,1)) - trainX # tile for array and repeat for matrix in Python, == repmat in Matlab difference = difference ** 2 # take pow(difference,2) distance = difference.sum(1) # take the sum of difference from all dimensions distance = distance ** 0.5 sortdiffidx = distance.argsort() # find the k nearest neighbours vote = {} #create the dictionary for i in range(K): ith_label = labels[sortdiffidx[i]]; vote[ith_label] = vote.get(ith_label,0)+1 #get(ith_label,0) : if dictionary 'vote' exist key 'ith_label', return vote[ith_label]; else return 0 sortedvote = sorted(vote.iteritems(),key = lambda x:x[1], reverse = True) # 'key = lambda x: x[1]' can be substituted by operator.itemgetter(1) return sortedvote[0][0]k = KNN() #create KNN objectgroup,labels = k.createDataset()cls = k.KnnClassify([0,0],group,labels,3)print cls
运行:
1. 在Python Shell 中可以运行KNN.py
>>>import os
>>>os.chdir("/Users/mba/Documents/Study/Machine_Learning/Python/KNN")
>>>execfile("KNN.py")
输出B
(B表示类别)
2. 或者terminal中直接运行
$ python KNN.py
3. 也可以不在KNN.py中写输出,而选择在Shell中获得结果,i.e.,
>>>import KNN
>>> KNN.k.KnnClassify([0,0],KNN.group,KNN.labels,3)
关于Python更多的学习资料将继续更新,敬请关注本博客和新浪微博Rachel Zhang。
4 1
- K近邻分类算法实现 in Python
- K近邻分类算法实现 in Python
- K近邻分类算法实现 in Python
- K近邻分类算法实现 in Python
- Python实现K近邻算法<KNN>_分类器
- KNN(k-近邻)分类算法讲解与实现(python)
- K-近邻算法python实现
- Python实现k-近邻算法
- k-近邻算法-python实现
- k近邻分类算法的python实践
- k-近邻算法实现分类器
- K近邻分类算法
- K近邻分类算法
- K近邻分类算法
- k-近邻分类算法
- k近邻法 kNN算法 in Python
- 分类算法系列1-----KNN(K近邻)算法思想和python实现
- K-近邻算法之Python实现
- 问题
- Android 在post的表单中带上Cookie
- sticks
- EJB2.0之HelloWorld版本
- whatsApp 被收购随想: 做工具累积用户,跟巨头合作实现平台收益
- K近邻分类算法实现 in Python
- 在虚拟机(centos)配置postgresql数据库(1) - 安装篇
- 简化文件的绝对路径 Simpify Path
- C++ traits和enable_if的实现
- HDU4539
- 用ant实现SVN代码更新,部署
- apache虚拟主机
- OGNL表达式和EL表达式
- ortp库API说明