KNN与K-Means的区别
来源:互联网 发布:开发聊天软件 编辑:程序博客网 时间:2024/04/29 00:39
KNN与K-Means的区别
KNN(K-Nearest Neighbor)介绍
Wikipedia上的 KNN词条 中有一个比较经典的图如下:
KNN的算法过程是是这样的:
从上图中我们可以看到,图中的数据集是良好的数据,即都打好了label,一类是蓝色的正方形,一类是红色的三角形,那个绿色的圆形是我们待分类的数据。
如果K=3,那么离绿色点最近的有2个红色三角形和1个蓝色的正方形,这3个点投票,于是绿色的这个待分类点属于红色的三角形。
如果K=5,那么离绿色点最近的有2个红色三角形和3个蓝色的正方形,这5个点投票,于是绿色的这个待分类点属于蓝色的正方形。(参考 酷壳的 K Nearest Neighbor 算法 )
我们可以看到,KNN本质是基于一种数据统计的方法!其实很多机器学习算法也是基于数据统计的。
KNN是一种memory-based learning,也叫instance-based learning,属于lazy learning。即它没有明显的前期训练过程,而是程序开始运行时,把数据集加载到内存后,不需要进行训练,就可以开始分类了。
具体是每次来一个未知的样本点,就在附近找K个最近的点进行投票。
再举一个例子,Locally weighted regression (LWR)也是一种 memory-based 方法,如下图所示的数据集。
用任何一条直线来模拟这个数据集都是不行的,因为这个数据集看起来不像是一条直线。但是每个局部范围内的数据点,可以认为在一条直线上。每次来了一个位置样本x,我们在X轴上以该数据样本为中心,左右各找几个点,把这几个样本点进行线性回归,算出一条局部的直线,然后把位置样本x代入这条直线,就算出了对应的y,完成了一次线性回归。
也就是每次来一个数据点,都要训练一条局部直线,也即训练一次,就用一次。
LWR和KNN是不是很像?都是为位置数据量身定制,在局部进行训练。
K-Means介绍
如图所示,数据样本用圆点表示,每个簇的中心点用叉叉表示。(a)刚开始时是原始数据,杂乱无章,没有label,看起来都一样,都是绿色的。(b)假设数据集可以分为两类,令K=2,随机在坐标上选两个点,作为两个类的中心点。(c-f)演示了聚类的两种迭代。先划分,把每个数据样本划分到最近的中心点那一簇;划分完后,更新每个簇的中心,即把该簇的所有数据点的坐标加起来去平均值。这样不断进行”划分—更新—划分—更新”,直到每个簇的中心不在移动为止。(图文来自Andrew ng的机器学习公开课)。
推荐关于K-Means的两篇博文, K-Means 算法 _ 酷壳 , 漫谈 Clustering (1)_ k-means pluskid 。
KNN和K-Means的区别
KNN
K-Means
1.KNN是分类算法
2.监督学习
3.喂给它的数据集是带label的数据,已经是完全正确的数据
1.K-Means是聚类算法
2.非监督学习
3.喂给它的数据集是无label的数据,是杂乱无章的,经过聚类后才变得有点顺序,先无序,后有序
没有明显的前期训练过程,属于memory-based learning有明显的前期训练过程K的含义:来了一个样本x,要给它分类,即求出它的y,就从数据集中,在x附近找离它最近的K个数据点,这K个数据点,类别c占的个数最多,就把x的label设为cK的含义:K是人工固定好的数字,假设数据集合可以分为K个簇,由于是依靠人工定好,需要一点先验知识 相似点:都包含这样的过程,给定一个点,在数据集中找离它最近的点。即二者都用到了NN(Nears Neighbor)算法,一般用KD树来实现NN。- KNN与K-Means的区别
- KNN与K-Means的区别
- KNN与K-Means的区别
- KNN与K-Means的区别
- KNN与K-Means的区别
- KNN与K-Means的区别
- k-means 与 KNN
- K-means 与 KNN
- KNN与K-Means
- K-means与KNN聚类
- MLAPP学习笔记-KNN与K-means引发的思考
- K-means 和 KNN
- KNN和K-means
- 机器学习之深入理解K-means、与KNN算法区别及其代码实现
- K近邻法(knn)与k-means(附源代码)
- 机器学习_基于距离的算法KNN与K-Means
- k-means算法和KNN算法的比较
- K-means 与 K-means++
- ppp与pppoe 交叉编译移植
- 论人工智能技术在推荐系统中的应用
- Android API Guide for Media Apps(六)——媒体会话的回调(Media Session Callbacks)
- 大公司高级Android工程师技能要求
- 欢迎使用CSDN-markdown编辑器
- KNN与K-Means的区别
- Windows下PCL及其第三方库的安装编译过程
- Node.js 给前端带来了什么?
- Spring Boot Actuator监控端点
- Android-Activity的四种启动方式
- .net core中加载lua脚本的类库- MoonSharp
- 图片的终极压缩和保存
- 微信开发环境搭建二
- Android API Guide for Media Apps(七)——构建一个视频应用(Building a Video App)