Kmeans 的MapReduce实现原理
来源:互联网 发布:http传输数据大小 编辑:程序博客网 时间:2024/06/16 10:16
1、由InputDriver对原始数据集的一个预处理,输入目录是:testdata,输出目录是:output/data
2、由CanopyDriver发起的对data的初始划分,输入目录是:output/data,输出目录是:output/clusters-0。这里我们假设样本被划分为了500份小样本文件,分散在cluster中。
3、由KmeansDriver发起的构建Cluster的第一次迭代,输入目录是:output/clusters-0,输出目录是:output/clusters-1
4、由KmeansDriver发起的构建Cluster的第二次迭代,输入目录是:output/clusters-1,输出目录是:output/clusters-2
。。。反复迭代。直至收敛。
好了,下面具体分析,上面第2步划分完以后,HDFS上暂存了500个样本文件,每个样本文件里面有10000个样本点。
这时我们需要两个质心文件(比较小的文件,存了K个质心),一个是原质心文件,另一个是更新的质心文件。
在每个map类中,首先需要的是读取原质心文件,得到K个质心,我们处理1个样本文件,对该样本文件中的每一个样本点进行处理,其中处理过程是计算这个样本点到每个质心的距离,得到最小的,于是可以给出属于哪个质心。这样对该文件中的所有10000个样本点循环玩之后,就可以得到这10000个样本点分别属于哪个质心。
然后经过Combine,shuffle 等负责将属于具体某一个质心的样本点都归为一类,然后输出。
然后在reduce类中,把所有500个样本文件都经过map处理后的结果输入给reduce类,这样便可以重新计算出该类的质心。于是reduce中便能更新这K个质心,将新的结果写入到跟新的质心文件中去。
最后用到那个Driver类。该类作用是不断提交mapreduce作业。然后每一轮作业后,比较新的质心文件和旧质心文件的差别,如果足够接近,则停止迭代。否则就用新的质心文件替代旧质心文件,进入下一次迭代。
参考
http://blog.csdn.net/jdplus/article/details/23960127
http://www.cnblogs.com/zhangchaoyang/articles/2634365.html
http://www.cnblogs.com/vivounicorn/archive/2011/10/08/2201986.html
0 0
- Kmeans 的MapReduce实现原理
- kmeans基于mapreduce的实现
- MapReduce框架实现的kmeans算法
- MapReduce实现KMeans
- 【hadoop】大规模中文网站聚类 kmeans 的 mapreduce 实现
- Kmeans原理及实现
- Kmeans原理和实现
- MapReduce实现的PageRank原理
- 写mapreduce程序实现kmeans算法
- hadoop下实现kmeans算法——一个mapreduce的实现方法
- hadoop下实现kmeans算法——一个mapreduce的实现方法
- hadoop下实现kmeans算法——一个mapreduce的实现方法
- MapReduce的Kmeans聚类算法
- kmeans的实现
- KMeans算法的实现
- 【hadoop】大规模中文网站聚类kmeans的mapreduce实现(上)
- 【hadoop】大规模中文网站聚类kmeans的mapreduce实现(下)
- 【hadoop】大规模中文网站聚类kmeans的mapreduce实现(上)
- 柔性数组
- python 集合操作 set
- CUDA 共享内存的bank co…
- 贪心算法经典例子
- Linux(ubuntu) 下安装Boost 库
- Kmeans 的MapReduce实现原理
- Pagerank 的mapreduce
- 二维数组的指针
- 手写数字识别的机器学习方法讨论
- java spring框架学习总结
- C++ 结构体 内存分配
- 从STL容器的使用对比,研究hashmap…
- 安卓 在任意地方启动另一个AP…
- C++ 排列组合