http://blog.csdn.net/u010536377/article/details/50884416
来源：互联网 发布：oracle数据库参数 编辑：程序博客网 时间：2024/06/06 00:30
[聚类算法]K-means优缺点及其改进
分类： 版权声明：本文为博主原创文章，转载请注明出处，谢谢！
目录(?)[+]
- K-means聚类小述
- 改进1
- 改进2
- 参考资料
- 改进3
- 改进4
- 参考资料
写在前：本文参考了国内一些硕士论文以及一些期刊。笔者会在后面写上具体的参考文献。仅供学习，请勿抄袭。
K-means聚类小述
大家接触的第一个聚类方法，十有八九都是K-means聚类啦。该算法十分容易理解，也很容易实现。其实几乎所有的机器学习和数据挖掘算法都有其优点和缺点。那么K-means的缺点是什么呢?
总结为下：
(1)对于离群点和孤立点敏感；
(2)k值选择;
(3)初始聚类中心的选择；
(4)只能发现球状簇。
对于这4点呢的原因，读者可以自行思考下，不难理解。针对上述四个缺点，依次介绍改进措施。
改进1
首先针对（1），对于离群点和孤立点敏感，如何解决？笔者在前面的一篇博客中，提到过离群点检测的LOF算法，通过去除离群点后再聚类，可以减少离群点和孤立点对于聚类效果的影响。
改进2
k值的选择问题，在安徽大学李芳的硕士论文中提到了k-Means算法的k值自适应优化方法。下面将针对该方法进行总结。
首先该算法针对K-means算法的以下主要缺点进行了改进：
1）必须首先给出k（要生成的簇的数目），k值很难选择。事先并不知道给定的数据应该被分成什么类别才是最优的。
2)初始聚类中心的选择是K-means的一个问题。
李芳设计的算法思路是这样的：可以通过在一开始给定一个适合的数值给k，通过一次K-means算法得到一次聚类中心。对于得到的聚类中心，根据得到的k个聚类的距离情况，合并距离最近的类，因此聚类中心数减小，当将其用于下次聚类时，相应的聚类数目也减小了，最终得到合适数目的聚类数。可以通过一个评判值E来确定聚类数得到一个合适的位置停下来，而不继续合并聚类中心。重复上述循环，直至评判函数收敛为止，最终得到较优聚类数的聚类结果。
参考资料
李芳. K-Means算法的k值自适应优化方法研究[D]. 安徽大学, 2015.
改进3
对初始聚类中心的选择的优化。一句话概括为：选择批次距离尽可能远的K个点。具体选择步骤如下。
首先随机选择一个点作为第一个初始类簇中心点，然后选择距离该点最远的那个点作为第二个初始类簇中心点，然后再选择距离前两个点的最近距离最大的点作为第三个初始类簇的中心点，以此类推，直至选出K个初始类簇中心点。
对于该问题还有个解决方案。之前我也使用过。熟悉weka的同学应该知道weka中的聚类有一个算法叫Canopy算法。
选用层次聚类或者Canopy算法进行初始聚类，然后利用这些类簇的中心点作为KMeans算法初始类簇中心点。该方法对于k值的选择也是十分有效的。
点击获取参考资料
改进4
只能获取球状簇的根本原因在于，距离度量的方式。在李荟娆的硕士论文K_means聚类方法的改进及其应用中提到了基于2种测度的改进，改进后，可以去发现非负、类椭圆形的数据。但是对于这一改进，个人认为，并没有很好的解决K-means在这一缺点的问题，如果数据集中有不规则的数据，往往通过基于密度的聚类算法更加适合，比如DESCAN算法。
参考资料
李荟娆. K–means聚类方法的改进及其应用[D]. 东北农业大学, 2014.
笔者水平有限，难免有误，欢迎指出。当然也有其他的更好的方案，可以提出，我也想学习学习。
- 顶
- 3
- 踩
- 0
- 上一篇[图论]用Edmonds-Karp算法求解最大流问题(C语言实现)
- 下一篇[杂记]国内某知名电商数据研发面试题
我的同类文章
- •[神经网络]2.2/2.3-How the backpropagation algorithm works-The two assumptions we need...（翻译）2016-02-26
- •[神经网络]1.7-Using neural nets to recognize handwritten digits-Toward deep learning（翻译）2016-02-22
- •[数据挖掘]关联规则学习笔记2016-01-26
- •[神经网络]1.3-Using neural nets to recognize handwritten digits-The architecture of neural networks（翻译）2016-01-22
- •[神经网络]1.1-Using neural nets to recognize handwritten digits-Perceptrons（翻译）2016-01-21
- •[神经网络]2.1-How the backpropagation algorithm works-Warm up: a fast matrix-based approach ...（翻译）2016-02-27
- •[神经网络]1.6-Using neural nets to recognize handwritten digits-Implementing our network to classify（翻译）2016-02-19
- •[神经网络]1.4-Using neural nets to recognize handwritten digits-A simple network to classify ...（翻译）2016-02-18
- •[神经网络]1.2-Using neural nets to recognize handwritten digits-Sigmoid neurons（翻译）2016-01-21
- •[数据挖掘]离群点检测---基于kNN的离群点检测、LOF算法和CLOF算法2016-01-16
- http://blog.csdn.net/u010536377/article/details/50884416
- http://blog.csdn.net/IBM_hoojo/article/details/5688947
- http://blog.csdn.net/chenlaic/article/details/6143235
- http://blog.csdn.net/eaglewood2005/article/details/4335052
- http://blog.csdn.net/mchp/article/details/3995970
- http://blog.csdn.net/v_july_v/article/details/6015165
- http://blog.csdn.net/masterz/article/details/6232585
- http://blog.csdn.net/perfectpdl/article/details/6442847
- http://blog.csdn.net/eroswang/article/details/1967243
- http://blog.csdn.net/zhvsby/article/details/5986645
- http://blog.csdn.net/dz45693/article/details/6183645
- http://blog.csdn.net/david_lv/article/details/5798003
- http://blog.csdn.net/zxingchao2009/article/details/6299313
- http://blog.csdn.net/zhanxinhang/article/details/6783766
- http://blog.csdn.net/ruanruoshi/article/details/935510
- http://blog.csdn.net/yming0221/article/details/6538527
- http://blog.csdn.net/yming0221/article/details/6528490
- http://blog.csdn.net/yming0221/article/details/6704079
- Matlab plot 光滑曲线
- 基于proteus的51单片机仿真实例五十六、定时器/计数器T0的外部计数实例
- 将博客搬至CSDN
- FASTDFS 配置文件说明(tracker.conf)
- Residual Attention Network for Image Classification, cvpr17
- http://blog.csdn.net/u010536377/article/details/50884416
- cin输入数据（cin不丢弃回车符，>>会跳过回车符）
- HDU1114(完全背包)
- 单例模式
- 35. Search Insert Position
- ajax插件
- XML中>,<,&,',"的转义
- jvm-类加载器
- 字符串的子串问题详解
