机器学习实战--最简单算法--KNN算法(k-近邻算法)
来源:互联网 发布:类似招联好期贷的软件 编辑:程序博客网 时间:2024/06/05 00:28
参考书籍--《机器学习实战》
k-近邻算法(一下简称knn算法)是机器学习中最简单的算法,通过计算待预测分类点到已知类别点之间的距离,通过距离的远近来分类带预测分类点,越近表示这两种点的类别越近。
优点:精度高,对异常值不敏感
缺点:计算复杂度高(不适合数据量较大的分类),空间复杂度较高
knn算法属于有监督学习算法,每次对数据分类时都要对所有的数据进行计算,所以有计算复杂度的问题。
待测数据标签类别的选定:
1、指定参考点距离待测点的最近的个数n
2、对n中标签类别进行统计,哪类标签占的比重多,待分类的数据就属于哪一类别。
思路:
1、数据样本A 对应的标签B 距离最近点个数为n
2、带预测的数据c
3、遍历c到A中每个点的距离,计算结果记录为E。
4、对距离结果E经行从小到大的排序。
5、取结果E中前n个记录,对其进行类别统计。
6、对上一步骤5的进行分析,哪一类别比重大,则该待测数据就属于哪一类别。
Python代码实现:
from numpy import *import operatortest = [0,0]group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])labels = ["A", "A", "B", "B"]n = 2dataSetSize = group.shape[0]diffMat = tile(test,(dataSetSize,1)) - group#distancessqDifffMat = diffMat**2sqDistances = sqDifffMat.sum(axis=1)distance = sqDistances**0.5#sortsortedDistIndicies = distance.argsort()classCount = {}for i in range(3): classCount[labels[sortedDistIndicies[i]]] = classCount.get(labels[sortedDistIndicies[i]], 0) + 1sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)print "Type is :", sortedClassCount[0][0]
阅读全文
1 0
- 机器学习实战--最简单算法--KNN算法(k-近邻算法)
- 机器学习实战:K近邻算法(kNN)
- 《机器学习实战》(二)k-近邻算法(KNN)
- 机器学习实战2:k近邻算法KNN(python)
- 机器学习实战——k-近邻算法(KNN)
- 机器学习实战1:K近邻算法(KNN)
- 机器学习实战——KNN(K近邻算法)
- 机器学习(一):k最近邻(kNN)算法
- 【机器学习】k近邻算法(kNN)
- 机器学习--k-近邻(kNN)算法
- 《机器学习实战》第二章:k-近邻算法(1)简单KNN
- 【机器学习实战之一】:C++实现K-近邻算法KNN
- 【机器学习实战】:C++实现K-近邻算法KNN
- 《机器学习实战》--k近邻分类算法kNN
- 机器学习实战第一课之k近邻算法 KNN
- 机器学习实战笔记(Python)-01-K近邻算法(KNN)
- 机器学习实战笔记-01k近邻算法(kNN)
- 机器学习实战ch02 KNN k-近邻算法代码注释
- EL表达式
- <转载>Java(17):Java常用数据结构及其特征解读
- jdbc day01 火推 function函数 Oracle JDBC连接步骤
- MATLAB中只显示坐标轴的左下段到右上端的部分
- 【LeetCode】448. Find All Numbers Disappeared in an Array
- 机器学习实战--最简单算法--KNN算法(k-近邻算法)
- JavaScript中如何继承
- BZOJ 1787: [Ahoi2008]Meet 紧急集合【LCA】
- JDBC 02 Eclipse常见快捷键 Statement类的常用方法 火推
- 树莓派3B之交叉编译链和内核编译
- Mybatis源码(一)之Spring整合Mybatis扫描dao
- 输入两棵二叉树A,B,判断B是不是A的子结构。(ps:我们约定空树不是任意一个树的子结构)
- python--leetcode258. Add Digits
- HybridApp解决方案_No1_混合模式(Hybrid)App开发概述