KNN-K邻近算法
来源:互联网 发布:java 验证码识别 编辑:程序博客网 时间:2024/04/19 11:25
KNN-K邻近算法学习笔记
kNN算法又称为k最近邻分类算法,是一种监督学习类方法,并且kNN算法不需要预先训练,也就是说kNN算法只有测试过程,没有训练过程。所谓的k最近邻,就是指最接近的k个邻居(数据),核心思想是:在一个含未知样本的空间,可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。你可以简单的理解为由那离自己最近的K个点来投票决定待分类数据归为哪一类。
该算法涉及3个主要因素:训练集、距离的衡量、k的大小。
距离的衡量在之前的K-means的笔记里有实现欧式距离和person相似系数来衡量样本之间的距离。
KNN算法过程:
输入一个测试样本,计算已知类别的点(即训练集)与测试样本的距离。
在训练集中选取与测试样本距离最小的k个点。
确定前k个点所在类别的出现次数。
获得投票最高的类别输入的测试样本的预测分类。
KNN算法的Python实现:
距离的衡量使用的是欧氏距离
# encoing:utf-8import numpy as npimport mathimport pandas as pdimport operatordef KNN(X_test, dataSet,labels,k): dataSet = pd.DataFrame(dataSet, index=None) dataSetSize = dataSet.shape[0] # sqDiffvec = [] sqDiff = [] X_test=pd.Series(X_test, index=None) for i in range(dataSetSize): sqDiffveci = dataSet[i]-X_test sqDiffveci = sqDiffveci.apply(lambda x: x**2) sqDiffi = math.sqrt(sum(list(sqDiffveci))) # sqDiffvec.append(list(sqDiffveci)) sqDiff.append(sqDiffi) # 存下每个距离 sortedsqDiffindex = np.argsort(sqDiff) classCount={} # 选取距离最小的k个点 for i in range(k): votelabel = labels[sortedsqDiffindex[i]] classCount[votelabel] = classCount.get(votelabel, 0)+1 sortedclassCount=sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedclassCount.keys()[0]
0 0
- KNN-K邻近算法
- K邻近算法(KNN)
- k邻近算法(kNN)
- KNN(K邻近)算法
- K-邻近算法(KNN)
- KNN算法,k 邻近(python)
- KNN(K最邻近)算法
- K-邻近算法(kNN)python3.X
- K邻近(KNN)分类和预测算法
- KNN(K 邻近算法) 相关知识
- k-邻近算法kNN及其python实现
- 机器学习之K邻近算法 (KNN)
- k邻近法 KNN
- K最邻近算法(K-Nearest Neighbor,KNN)(初探)
- KNN算法(邻近算法)
- 邻近算法(KNN算法)
- 机器学习算法之 KNN k邻近算法
- 机器学习实战之——KNN k-邻近算法
- Oracle存储过程
- 读书笔记之一——《C专家编程》
- 华为2017实习生招聘笔试题-任务调度
- Android(4)—ListView与RecyclerView
- Java之IO流
- KNN-K邻近算法
- MDS算法
- MySQL实现序列
- TreeSet在add对象时报ClassCastException错误
- 二叉树
- ubantu14.04下安装stunman
- 5.计时器实现计时功能
- 放棋子(代码填空)
- 前端自学路线