kmeans理解
来源:互联网 发布:固定循环编程注意什么? 编辑:程序博客网 时间:2024/06/06 12:47
最近看到Andrew Ng的一篇论文,文中用到了Kmeans和DL结合的思想,突然发现自己对ML最基本的聚类算法都不清楚,于是着重的看了下Kmeans,并在网上找了程序跑了下。
kmeans是unsupervised learning最基本的一个聚类算法,我们可以用它来学习无标签的特征,其基本思想如下:
首先给出原始数据{x1,x2,...,xn},这些数据没有被标记的。
初始化k个随机数据u1,u2,...,uk,每一个ui都是一个聚类中心,k就是分为k类,这些xn和uk都是向量。
根据下面两个公式迭代就能求出最终所有的聚类中心u。
formula 1:
其中xi是第i个data,uj是第j(1~k)的聚类中心,这个公式的意思就是求出每一个data到k个聚类中心的距离,并求出最小距离,那么数据xi就可以归到这一类。
formula 2:
这个公式的目的是求出新的聚类中心,由于之前已经求出来每一个data到每一类的聚类中心uj,那么可以在每一类总求出其新的聚类中心(用这一类每一个data到中心的距离之和除以总的data),分别对k类同样的处理,这样我们就得到了k个新的聚类中心。
反复迭代公式一和公式二,知道聚类中心不怎么改变为止。
我们利用3维数据进行kmeans,代码如下:
run_means.m
1: %%用来kmeans聚类的一个小代码
2:
3: clear all;
4: close all;
5: clc;
6:
7: %第一类数据
8: mu1=[0 0 0]; %均值
9: S1=[0.3 0 0;0 0.35 0;0 0 0.3]; %协方差
10: data1=mvnrnd(mu1,S1,100); %产生高斯分布数据
11:
12: %%第二类数据
13: mu2=[1.25 1.25 1.25];
14: S2=[0.3 0 0;0 0.35 0;0 0 0.3];
15: data2=mvnrnd(mu2,S2,100);
16:
17: %第三个类数据
18: mu3=[-1.25 1.25 -1.25];
19: S3=[0.3 0 0;0 0.35 0;0 0 0.3];
20: data3=mvnrnd(mu3,S3,100);
21:
22: %显示数据
23: plot3(data1(:,1),data1(:,2),data1(:,3),'+');
24: hold on;
25: plot3(data2(:,1),data2(:,2),data2(:,3),'r+');
26: plot3(data3(:,1),data3(:,2),data3(:,3),'g+');
27: grid on;
28:
29: %三类数据合成一个不带标号的数据类
30: data=[data1;data2;data3]; %这里的data是不带标号的
31:
32: %k-means聚类
33: [u re]=KMeans(data,3); %最后产生带标号的数据,标号在所有数据的最后,意思就是数据再加一维度
34: [m n]=size(re);
35:
36: %最后显示聚类后的数据
37: figure;
38: hold on;
39: for i=1:m
40: if re(i,4)==1
41: plot3(re(i,1),re(i,2),re(i,3),'ro');
42: elseif re(i,4)==2
43: plot3(re(i,1),re(i,2),re(i,3),'go');
44: else
45: plot3(re(i,1),re(i,2),re(i,3),'bo');
46: end
47: end
48: grid on;
KMeans.m
1: %N是数据一共分多少类
2: %data是输入的不带分类标号的数据
3: %u是每一类的中心
4: %re是返回的带分类标号的数据
5: function [u re]=KMeans(data,N)
6: [m n]=size(data); %m是数据个数,n是数据维数
7: ma=zeros(n); %每一维最大的数
8: mi=zeros(n); %每一维最小的数
9: u=zeros(N,n); %随机初始化,最终迭代到每一类的中心位置
10: for i=1:n
11: ma(i)=max(data(:,i)); %每一维最大的数
12: mi(i)=min(data(:,i)); %每一维最小的数
13: for j=1:N
14: u(j,i)=ma(i)+(mi(i)-ma(i))*rand(); %随机初始化,不过还是在每一维[min max]中初始化好些
15: end
16: end
17:
18: while 1
19: pre_u=u; %上一次求得的中心位置
20: for i=1:N
21: tmp{i}=[]; % 公式一中的x(i)-uj,为公式一实现做准备
22: for j=1:m
23: tmp{i}=[tmp{i};data(j,:)-u(i,:)];
24: end
25: end
26:
27: quan=zeros(m,N);
28: for i=1:m %公式一的实现
29: c=[]; %c 是到每类的距离
30: for j=1:N
31: c=[c norm(tmp{j}(i,:))];
32: end
33: [junk index]=min(c);
34: quan(i,index)=norm(tmp{index}(i,:));
35: end
36:
37: for i=1:N %公式二的实现
38: for j=1:n
39: u(i,j)=sum(quan(:,i).*data(:,j))/sum(quan(:,i));
40: end
41: end
42:
43: if norm(pre_u-u)<0.1 %不断迭代直到位置不再变化
44: break;
45: end
46: end
47:
48: re=[];
49: for i=1:m
50: tmp=[];
51: for j=1:N
52: tmp=[tmp norm(data(i,:)-u(j,:))];
53: end
54: [junk index]=min(tmp);
55: re=[re;data(i,:) index];
56: end
57:
58: end
原始数据如下所示,分为三类:
当k取2时,聚成2类:
当k取3时,聚成3类:
- kmeans理解
- kmeans理解
- Kmeans函数理解
- kmeans算法的个人理解
- Kmeans和FMC自己理解
- Kmeans聚类算法-理解
- Kmeans
- KMeans
- Kmeans
- KMeans
- KMeans
- kmeans
- Kmeans
- Kmeans
- Kmeans
- Kmeans
- kmeans
- kmeans++
- org.eclipse.core.internal.resources.ResourceException: A resource exists with a different case:
- ASP.NET E-MAIL
- hdu2602Bone Collector(01背包)
- 对cost函数的概率解释
- 机器学习第二课
- kmeans理解
- Matlab中编译C++文件
- cv论文(SPARSE REPRESENTATION相关)
- Can not perform this action after onSaveInstanceState 解决办法
- 小黑小波比.查看并杀死某进程
- SQLSERVER中如何忽略索引提示
- 最长公共子序列问题LCS
- WPF实现3D翻转的动画效果
- SDL事件处理(一些数据类型)