第7节--KNN算法
来源:互联网 发布:七彩网络成绩 编辑:程序博客网 时间:2024/05/17 01:42
1. 综述:
1.1 Cover和Hart在1968年提出了最初的邻近算法
1.2 KNN算法属于分类(classification)算法
1.3 输入基于实例的学习(instance-based learning), 懒惰学习(lazy learning)
2. 例子:
未知电影属于什么类型?
3. 算法详述:
3.1 步骤:
1 为了判断未知实例的类别,以所有已知类别的实例作为参照
2 选择参数K
3 计算未知实例与所有已知实例的距离
4 选择最近K个已知实例
5 根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别
3.2 细节:
关于K(一般取奇数)
关于距离的衡量方法:
3.2.1 Euclidean Distance 定义
二维距离计算:
n维距离计算:
其他距离衡量:
余弦值(cos), 相关度 (correlation), 曼哈顿距离 (Manhattan distance)
3.3 举例
4. 算法优缺点:
4.1 算法优点
简单
易于理解
容易实现
通过对K的选择可具备丢噪音数据的健壮性
4.2 算法缺点
需要大量空间储存所有已知实例
算法复杂度高(需要比较所有已知实例与要分类的实例)
当其样本分布不平衡时,比如其中一类样本过大(实例数量过多)占主导的时候,新的未知实例容易被归类为这个主导样本,因为这类样本实例的数量过大,但这个新的未知实例实际并未接近目标样本
5. 改进版本
考虑距离,根据距离加上权重
比如: 1/d (d: 距离)
0 0
- 第7节--KNN算法
- 第8节--KNN算法的python实现
- KNN算法
- KNN算法
- KNN算法
- KNN算法
- kNN算法
- KNN算法
- KNN算法
- KNN算法
- KNN算法
- knn算法
- kNN算法
- knn算法
- KNN算法
- KNN算法
- KNN算法
- KNN算法
- PHP性能优化
- 欢迎使用CSDN-markdown编辑器
- 我的第一次友盟分享集成问题
- iOS隐藏导航条1px的底部横线
- 点击listview、gridview条目时换背景
- 第7节--KNN算法
- 源码-Oracle数据库管理-第十二章-使用PL/SQL创建Oracle程序-Part 2(PL/SQL语言概览)
- android开发,如何使用git托管代码,如何在android studio上使用git管理代码
- 关于初学者如何学习Unity3D的问题-_-!(纯吐槽)
- Unity5.4 Assetbundles官方说明一(AssetBundles打包详解)
- Unity5.4 Assetbundles官方说明二(AssetBundle压缩与解压)
- Unity5.4 Assetbundles官方说明三(AssetBundle资源包的内部结构)
- Unity5.4 Assetbundles官方说明四(AssetBundles的下载和加载)
- Unity5.4 Assetbundles官方说明五(从AssetBundles的加载和卸载资源对象)