Chameleon两阶段聚类算法

参考文献：http://www.cnblogs.com/zhangchaoyang/articles/2182752.html(用了很多的图和思想)
博客园（华夏35度） 作者:Orisun
数据挖掘算法-Chameleon算法.百度文库

我的算法库：https://github.com/linyiqun/lyq-algorithms-lib（里面可能有你正想要的算法）

算法介绍

本篇文章讲述的还是聚类算法，也是属于层次聚类算法领域的，不过与上篇文章讲述的分裂实现聚类的方式不同，这次所讲的Chameleon算法是合并形成最终的聚类，恰巧相反。Chamelon的英文单词的意思是变色龙，所以这个算法又称之为变色龙算法，变色龙算法的过程如标题所描绘的那样，是分为2个主要阶段的，不过他可不是像BIRCH算法那样，是树的形式。继续看下面的原理介绍。

算法原理

先来张图来大致了解整个算法的过程。

上面图的显示过程虽然说有3个阶段，但是这其中概况起来就是两个阶段，第一个是形成小簇集的过程就是从Data Set 到k最近邻图到分裂成小聚餐，第二个阶段是合并这些小聚簇形成最终的结果聚簇。理解了算法的大致过程，下面看看里面定义的一些概念，还不少的样子。

为了引出变色龙算法的一些定义，这里先说一下以往的一些聚类算法的不足之处。

1、忽略簇与簇之间的互连性。就会导致最终的结果形成如下：

2、忽略簇与簇之间的近似性。就会导致最终的聚类结果变成这样“：

为什么提这些呢，因为Chameleon算法正好弥补了这2点要求，兼具互连性和近似性。在Chameleon算法中定义了相对互连性，RI表示和相对近似性，RC表示，最后通过一个度量函数:

function value = RI( Ci, Cj)× RC( Ci, Cj)α，α在这里表示的多少次方的意思，不是乘法。

来作为2个簇是否能够合并的标准，其实这些都是第二阶段做的事情了。

在第一阶段，所做的一件关键的事情就是形成小簇集，由零星的几个数据点连成小簇，官方的作法是用hMetic算法根据最小化截断的边的权重和来分割k-最近邻图，然后我网上找了一些资料，没有确切的hMetic算法，借鉴了网上其他人的一些办法，于是用了一个很简单的思路，就是给定一个点，把他离他最近的k个点连接起来，就算是最小簇了。事实证明，效果也不会太差，最近的点的换一个意思就是与其最大权重的边，采用距离的倒数最为权重的大小。因为后面的计算，用到的会是权重而不是距离。

我们再回过头来细说第二阶段所做的事情，首先是2个略复杂的公式（直接采用截图的方式）：

                                                                              相对互连性RI=

相对近似性RC=

Ci,Cj表示的是i,j聚簇内的数据点的个数，EC(Ci)表示的Ci聚簇内的边的权重和，EC(Ci,Cj)表示的是连接2个聚簇的边的权重和。

后来我在查阅书籍和一些文库的时候发现，这个公式还不是那么的标准，因为他对分母，分子进行了部分的改变，但是大意上还是一致的，标准公式上用到的是平均权重，而这里用的是和的形式，差别不大，所以就用这个公式了。

那么合并的过程如下：

1、给定度量函数如下minMetric,

2、访问每个簇，计算他与邻近的每个簇的RC和RI，通过度量函数公式计算出值tempMetric。

3、找到最大的tempMetric,如果最大的tempMetric超过阈值minMetric，将簇与此值对应的簇合并

4、如果找到的最大的tempMetric没有超过阈值，则表明此聚簇已合并完成，移除聚簇列表，加入到结果聚簇中。

4、递归步骤2，直到待合并聚簇列表最终大小为空。

算法的实现

算法的输入依旧采用的是坐标点的形式graphData.txt：

0 2 21 3 12 3 43 3 144 5 35 8 36 8 67 9 88 10 49 10 710 10 1011 10 1412 11 1313 12 814 12 1515 14 716 14 917 14 1518 15 8

算法坐标点数据Point.java:

package DataMining_Chameleon;/** * 坐标点类 * @author lyq * */public class Point{//坐标点id号,id号唯一int id;//坐标横坐标Integer x;//坐标纵坐标Integer y;//是否已经被访问过boolean isVisited;public Point(String id, String x, String y){this.id = Integer.parseInt(id);this.x = Integer.parseInt(x);this.y = Integer.parseInt(y);}/** * 计算当前点与制定点之间的欧式距离 *  * @param p *            待计算聚类的p点 * @return */public double ouDistance(Point p) {double distance = 0;distance = (this.x - p.x) * (this.x - p.x) + (this.y - p.y)* (this.y - p.y);distance = Math.sqrt(distance);return distance;}/** * 判断2个坐标点是否为用个坐标点 *  * @param p *            待比较坐标点 * @return */public boolean isTheSame(Point p) {boolean isSamed = false;if (this.x == p.x && this.y == p.y) {isSamed = true;}return isSamed;}}

簇类Cluster.java:

package DataMining_Chameleon;import java.util.ArrayList;/** * 聚簇类 *  * @author lyq *  */public class Cluster implements Cloneable{//簇唯一id标识号int id;// 聚簇内的坐标点集合ArrayList<Point> points;// 聚簇内的所有边的权重和double weightSum = 0;public Cluster(int id, ArrayList<Point> points) {this.id = id;this.points = points;}/** * 计算聚簇的内部的边权重和 *  * @return */public double calEC() {int id1 = 0;int id2 = 0;weightSum = 0;for (Point p1 : points) {for (Point p2 : points) {id1 = p1.id;id2 = p2.id;// 为了避免重复计算，取id1小的对应大的if (id1 < id2 && ChameleonTool.edges[id1][id2] == 1) {weightSum += ChameleonTool.weights[id1][id2];}}}return weightSum;}/** * 计算2个簇之间最近的n条边 *  * @param otherCluster *            待比较的簇 * @param n *            最近的边的数目 * @return */public ArrayList<int[]> calNearestEdge(Cluster otherCluster, int n){int count = 0;double distance = 0;double minDistance = Integer.MAX_VALUE;Point point1 = null;Point point2 = null;ArrayList<int[]> edgeList = new ArrayList<>();ArrayList<Point> pointList1 = (ArrayList<Point>) points.clone();ArrayList<Point> pointList2 = null;Cluster c2 = null;try {c2 = (Cluster) otherCluster.clone();pointList2 = c2.points;} catch (CloneNotSupportedException e) {// TODO Auto-generated catch blocke.printStackTrace();}int[] tempEdge;// 循环计算出每次的最近距离while (count < n) {tempEdge = new int[2];minDistance = Integer.MAX_VALUE;for (Point p1 : pointList1) {for (Point p2 :  pointList2) {distance = p1.ouDistance(p2);if (distance < minDistance) {point1 = p1;point2 = p2;tempEdge[0] = p1.id;tempEdge[1] = p2.id;minDistance = distance;}}}pointList1.remove(point1);pointList2.remove(point2);edgeList.add(tempEdge);count++;}return edgeList;}@Overrideprotected Object clone() throws CloneNotSupportedException {// TODO Auto-generated method stub//引用需要再次复制，实现深拷贝ArrayList<Point> pointList = (ArrayList<Point>) this.points.clone();Cluster cluster = new Cluster(id, pointList);return cluster;}}

算法工具类Chameleon.java:

package DataMining_Chameleon;import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import java.io.IOException;import java.text.MessageFormat;import java.util.ArrayList;/** * Chameleon 两阶段聚类算法工具类 *  * @author lyq *  */public class ChameleonTool {// 测试数据点文件地址private String filePath;// 第一阶段的k近邻的k大小private int k;// 簇度量函数阈值private double minMetric;// 总的坐标点的个数private int pointNum;// 总的连接矩阵的情况,括号表示的是坐标点的id号public static int[][] edges;// 点与点之间的边的权重public static double[][] weights;// 原始坐标点数据private ArrayList<Point> totalPoints;// 第一阶段产生的所有的连通子图作为最初始的聚类private ArrayList<Cluster> initClusters;// 结果簇结合private ArrayList<Cluster> resultClusters;public ChameleonTool(String filePath, int k, double minMetric) {this.filePath = filePath;this.k = k;this.minMetric = minMetric;readDataFile();}/** * 从文件中读取数据 */private void readDataFile() {File file = new File(filePath);ArrayList<String[]> dataArray = new ArrayList<String[]>();try {BufferedReader in = new BufferedReader(new FileReader(file));String str;String[] tempArray;while ((str = in.readLine()) != null) {tempArray = str.split(" ");dataArray.add(tempArray);}in.close();} catch (IOException e) {e.getStackTrace();}Point p;totalPoints = new ArrayList<>();for (String[] array : dataArray) {p = new Point(array[0], array[1], array[2]);totalPoints.add(p);}pointNum = totalPoints.size();}/** * 递归的合并小聚簇 */private void combineSubClusters() {Cluster cluster = null;resultClusters = new ArrayList<>();// 当最后的聚簇只剩下一个的时候，则退出循环while (initClusters.size() > 1) {cluster = initClusters.get(0);combineAndRemove(cluster, initClusters);}}/** * 递归的合并聚簇和移除聚簇 *  * @param clusterList */private ArrayList<Cluster> combineAndRemove(Cluster cluster,ArrayList<Cluster> clusterList) {ArrayList<Cluster> remainClusters;double metric = 0;double maxMetric = -Integer.MAX_VALUE;Cluster cluster1 = null;Cluster cluster2 = null;for (Cluster c2 : clusterList) {if (cluster.id == c2.id) {continue;}metric = calMetricfunction(cluster, c2, 1);if (metric > maxMetric) {maxMetric = metric;cluster1 = cluster;cluster2 = c2;}}// 如果度量函数值超过阈值，则进行合并,继续搜寻可以合并的簇if (maxMetric > minMetric) {clusterList.remove(cluster2);// 将边进行连接connectClusterToCluster(cluster1, cluster2);// 将簇1和簇2合并cluster1.points.addAll(cluster2.points);remainClusters = combineAndRemove(cluster1, clusterList);} else {clusterList.remove(cluster);remainClusters = clusterList;resultClusters.add(cluster);}return remainClusters;}/** * 将2个簇进行边的连接 *  * @param c1 *            聚簇1 * @param c2 *            聚簇2 */private void connectClusterToCluster(Cluster c1, Cluster c2) {ArrayList<int[]> connectedEdges;connectedEdges = c1.calNearestEdge(c2, 2);for (int[] array : connectedEdges) {edges[array[0]][array[1]] = 1;edges[array[1]][array[0]] = 1;}}/** * 算法第一阶段形成局部的连通图 */private void connectedGraph() {double distance = 0;Point p1;Point p2;// 初始化权重矩阵和连接矩阵weights = new double[pointNum][pointNum];edges = new int[pointNum][pointNum];for (int i = 0; i < pointNum; i++) {for (int j = 0; j < pointNum; j++) {p1 = totalPoints.get(i);p2 = totalPoints.get(j);distance = p1.ouDistance(p2);if (distance == 0) {// 如果点为自身的话，则权重设置为0weights[i][j] = 0;} else {// 边的权重采用的值为距离的倒数,距离越近，权重越大weights[i][j] = 1.0 / distance;}}}double[] tempWeight;int[] ids;int id1 = 0;int id2 = 0;// 对每个id坐标点，取其权重前k个最大的点进行相连for (int i = 0; i < pointNum; i++) {tempWeight = weights[i];// 进行排序ids = sortWeightArray(tempWeight);// 取出前k个权重最大的边进行连接for (int j = 0; j < ids.length; j++) {if (j < k) {id1 = i;id2 = ids[j];edges[id1][id2] = 1;edges[id2][id1] = 1;}}}}/** * 权重的冒泡算法排序 *  * @param array *            待排序数组 */private int[] sortWeightArray(double[] array) {double[] copyArray = array.clone();int[] ids = null;int k = 0;double maxWeight = -1;ids = new int[pointNum];for (int i = 0; i < pointNum; i++) {maxWeight = -1;for (int j = 0; j < copyArray.length; j++) {if (copyArray[j] > maxWeight) {maxWeight = copyArray[j];k = j;}}ids[i] = k;// 将当前找到的最大的值重置为-1代表已经找到过了copyArray[k] = -1;}return ids;}/** * 根据边的连通性去深度优先搜索所有的小聚簇 */private void searchSmallCluster() {int currentId = 0;Point p;Cluster cluster;initClusters = new ArrayList<>();ArrayList<Point> pointList = null;// 以id的方式逐个去dfs搜索for (int i = 0; i < pointNum; i++) {p = totalPoints.get(i);if (p.isVisited) {continue;}pointList = new ArrayList<>();pointList.add(p);recusiveDfsSearch(p, -1, pointList);cluster = new Cluster(currentId, pointList);initClusters.add(cluster);currentId++;}}/** * 深度优先的方式找到边所连接着的所有坐标点 *  * @param p *            当前搜索的起点 * @param lastId *            此点的父坐标点 * @param pList *            坐标点列表 */private void recusiveDfsSearch(Point p, int parentId, ArrayList<Point> pList) {int id1 = 0;int id2 = 0;Point newPoint;if (p.isVisited) {return;}p.isVisited = true;for (int j = 0; j < pointNum; j++) {id1 = p.id;id2 = j;if (edges[id1][id2] == 1 && id2 != parentId) {newPoint = totalPoints.get(j);pList.add(newPoint);// 以此点为起点，继续递归搜索recusiveDfsSearch(newPoint, id1, pList);}}}/** * 计算连接2个簇的边的权重 *  * @param c1 *            聚簇1 * @param c2 *            聚簇2 * @return */private double calEC(Cluster c1, Cluster c2) {double resultEC = 0;ArrayList<int[]> connectedEdges = null;connectedEdges = c1.calNearestEdge(c2, 2);// 计算连接2部分的边的权重和for (int[] array : connectedEdges) {resultEC += weights[array[0]][array[1]];}return resultEC;}/** * 计算2个簇的相对互连性 *  * @param c1 * @param c2 * @return */private double calRI(Cluster c1, Cluster c2) {double RI = 0;double EC1 = 0;double EC2 = 0;double EC1To2 = 0;EC1 = c1.calEC();EC2 = c2.calEC();EC1To2 = calEC(c1, c2);RI = 2 * EC1To2 / (EC1 + EC2);return RI;}/** * 计算簇的相对近似度 *  * @param c1 *            簇1 * @param c2 *            簇2 * @return */private double calRC(Cluster c1, Cluster c2) {double RC = 0;double EC1 = 0;double EC2 = 0;double EC1To2 = 0;int pNum1 = c1.points.size();int pNum2 = c2.points.size();EC1 = c1.calEC();EC2 = c2.calEC();EC1To2 = calEC(c1, c2);RC = EC1To2 * (pNum1 + pNum2) / (pNum2 * EC1 + pNum1 * EC2);return RC;}/** * 计算度量函数的值 *  * @param c1 *            簇1 * @param c2 *            簇2 * @param alpha *            幂的参数值 * @return */private double calMetricfunction(Cluster c1, Cluster c2, int alpha) {// 度量函数值double metricValue = 0;double RI = 0;double RC = 0;RI = calRI(c1, c2);RC = calRC(c1, c2);// 如果alpha大于1，则更重视相对近似性，如果alpha逍遥于1，注重相对互连性metricValue = RI * Math.pow(RC, alpha);return metricValue;}/** * 输出聚簇列 *  * @param clusterList *            输出聚簇列 */private void printClusters(ArrayList<Cluster> clusterList) {int i = 1;for (Cluster cluster : clusterList) {System.out.print("聚簇" + i + ":");for (Point p : cluster.points) {System.out.print(MessageFormat.format("({0}, {1}) ", p.x, p.y));}System.out.println();i++;}}/** * 创建聚簇 */public void buildCluster() {// 第一阶段形成小聚簇connectedGraph();searchSmallCluster();System.out.println("第一阶段形成的小簇集合：");printClusters(initClusters);// 第二阶段根据RI和RC的值合并小聚簇形成最终结果聚簇combineSubClusters();System.out.println("最终的聚簇集合：");printClusters(resultClusters);}}

调用类Client.java:

package DataMining_Chameleon;/** * Chameleon(变色龙)两阶段聚类算法 * @author lyq * */public class Client {public static void main(String[] args){String filePath = "C:\\Users\\lyq\\Desktop\\icon\\graphData.txt";//k-近邻的k设置int k = 1;//度量函数阈值double minMetric = 0.1;ChameleonTool tool = new ChameleonTool(filePath, k, minMetric);tool.buildCluster();}}

算法输出如下：

第一阶段形成的小簇集合：聚簇1:(2, 2) (3, 1) (3, 4) (5, 3) 聚簇2:(3, 14) (10, 14) (11, 13) 聚簇3:(8, 3) (10, 4) 聚簇4:(8, 6) (9, 8) (10, 7) (12, 8) (10, 10) 聚簇5:(12, 15) (14, 15) 聚簇6:(14, 7) (15, 8) (14, 9) 最终的聚簇集合：聚簇1:(2, 2) (3, 1) (3, 4) (5, 3) (8, 3) (10, 4) 聚簇2:(3, 14) (10, 14) (11, 13) (12, 15) (14, 15) 聚簇3:(8, 6) (9, 8) (10, 7) (12, 8) (10, 10) (14, 7) (15, 8) (14, 9) 

图形展示情况如下：

首先是第一阶段形成小簇集的结果：

然后是第二阶段合并的结果：

与结果相对应，请读者细细比较。

算法总结

在算法的实现过程中遇到一个比较大的困惑点在于2个簇近和并的时候，合并边的选取，我是直接采用的是最近的2对顶点进行连接，显然这是不合理的，当簇与簇规模比较大的时候，这个连接边需要变多，我有想过做一个计算函数，帮我计算估计要连接几条边。这里再提几点变色龙算法的优缺点，首先是这个算法将互连性和近似性都考虑了进来，其次他能发现高质量的任意形状的簇，问题有，第一与KNN算法一样，这个k的取值永远是一个痛，时间复杂度高，有可能会达到O(n*n)的程度，细心的博友一定能观察到我好多地方用到了双次循环的操作了。