大数据分析之聚类算法
来源:互联网 发布:怎么锻炼丁丁变粗 知乎 编辑:程序博客网 时间:2024/05/22 05:17
数据分析之聚类算法
1. 什么是聚类算法
所谓聚类,就是比如给定一些元素或者对象,分散存储在数据库中,然后根据我们感兴趣的对象属性,对其进行聚集,同类的对象之间相似度高,不同类之间差异较大。最大特点就是事先不确定类别。
这其中最经典的算法就是KMeans算法,这是最常用的聚类算法,主要思想是:在给定K值和K个初始类簇中心点的情况下,把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中,所有点分配完毕之后,根据一个类簇内的所有点重新计算该类簇的中心点(取平均值),然后再迭代的进行分配点和更新类簇中心点的步骤,直至类簇中心点的变化很小,或者达到指定的迭代次数。
KMeans算法本身思想比较简单,但是合理的确定K值和K个初始类簇中心点对于聚类效果的好坏有很大的影响。
- 聚类算法实现
假设对象集合为D,准备划分为k个簇。
基本算法步骤如下:
1、从D中随机取k个元素,作为k个簇的各自的中心。
2、分别计算剩下的元素到k个簇中心的相异度,将这些元素分别划归到相异度最低的簇。
3、根据聚类结果,重新计算k个簇各自的中心,计算方法是取簇中所有元素各自维度的算术平均数。
4、将D中全部元素按照新的中心重新聚类。
5、重复第4步,直到聚类结果不再变化。
6、将结果输出。
核心Java代码如下:
/**
* 迭代计算每个点到各个中心点的距离,选择最小距离将该点划入到合适的分组聚类中,反复进行,直到
* 分组不再变化或者各个中心点不再变化为止。
* @return
*/
public List[] comput() {
List[] results = new ArrayList[k];//为k个分组,分别定义一个聚簇集合,未来放入元素。
boolean centerchange = true;//该变量存储中心点是否发生变化 while (centerchange) { iterCount++;//存储迭代次数 centerchange = false; for (int i = 0; i < k; i++) { results[i] = new ArrayList<T>(); } for (int i = 0; i < players.size(); i++) { T p = players.get(i); double[] dists = new double[k]; for (int j = 0; j < initPlayers.size(); j++) { T initP = initPlayers.get(j); /* 计算距离 这里采用的公式是两个对象相关属性的平方和,最后求开方*/ double dist = distance(initP, p); dists[j] = dist; } int dist_index = computOrder(dists);//计算该点到各个质心的距离的最小值,获得下标 results[dist_index].add(p);//划分到对应的分组。 } /* * 将点聚类之后,重新寻找每个簇的新的中心点,根据每个点的关注属性的平均值确立新的质心。 */ for (int i = 0; i < k; i++) { T player_new = findNewCenter(results[i]); System.out.println("第"+iterCount+"次迭代,中心点是:"+player_new.toString()); T player_old = initPlayers.get(i); if (!IsPlayerEqual(player_new, player_old)) { centerchange = true; initPlayers.set(i, player_new); } } } return results;}
上面代码是其中核心代码,我们根据对象集合List和提前设定的k个聚集,最终完成聚类。我们测试一下,假设要测试根据NBA球员的场均得分情况,进行得分高中低的聚集,很简单,高得分在一组,中等一组,低得分一组。
我们定义一个Player类,里面有属性goal,并录入数据。并设定分组数目为k=3。
测试代码如下:
List listPlayers = new ArrayList();
Player p1 = new Player();
p1.setName(“mrchi1”);
p1.setGoal(1);
p1.setAssists(8);
listPlayers.add(p1);
Player p2 = new Player(); p2.setName("mrchi2"); p2.setGoal(2); listPlayers.add(p2); Player p3 = new Player(); p3.setName("mrchi3"); p3.setGoal(3); listPlayers.add(p3); //其他对象定义此处略。制造几个球员的对象即可。 Kmeans<Player> kmeans = new Kmeans<Player>(listPlayers, 3); List<Player>[] results = kmeans.comput(); for (int i = 0; i < results.length; i++) { System.out.println("类别" + (i + 1) + "聚集了以下球员:"); List<Player> list = results[i]; for (Player p : list) { System.out.println(p.getName() + "--->" + p.getGoal() } }
算法运行结果:
可以看出中心点经历了四次迭代变化,最终分类结果也确实是相近得分的分到了一组。当然这种算法有缺点,首先就是初始的k个中心点的确定非常重要,结果也有差异。可以选择彼此距离尽可能远的K个点,也可以先对数据用层次聚类算法进行聚类,得到K个簇之后,从每个类簇中选择一个点,该点可以是该类簇的中心点,或者是距离类簇中心点最近的那个点。
- 大数据分析之聚类算法
- 大数据分析之分类算法
- 大数据学习笔记之三十七 数据挖掘算法之关联分析
- 大数据:Spark mlib(一) KMeans聚类算法源码分析
- 数据挖掘十大经典算法学习之K均值(K-means)聚类算法
- 大数据十大经典算法之Aprior算法
- 大数据十大经典算法之EM算法
- 国产数据库比较之大数据分析
- 大数据之“用户行为分析”
- 大数据之“用户行为分析”
- spark快速大数据分析之读书笔记
- Druid 大数据分析之概况
- 大数据之“用户行为分析
- 5-大数据分析之 druid 介绍
- 四 大数据分析之 SVD理论
- 数据分析开篇之大有钱途
- 算法实践之5 :大数据运算
- 大数据检索技巧之算法
- 21个优质Swift开源App
- java 反射解析,将反射用于工厂模式【实例】
- 团队的建设与管理-献给每一位奋斗的同事
- 统计字符数
- JAVA SortedSet的坑
- 大数据分析之聚类算法
- Lightoj1216——Juice in the Glass (计算几何)
- crontab执行后邮件发到指定邮箱
- cocoa 框架参考
- Sys和system用户的区别,as normal、sysdba 和sysoper系统权限区别
- OPC添加组和添加项--------OPC(第六篇)
- Uboot常用命令小结Booting the Kernel (with mmcblk/SD card rootfs)
- 阿里云定时备份mysql
- spring—使用注解配置Bean