hadoop源码之MiniDFSCluster

来源:互联网 发布:网络盗窃游戏装备 编辑:程序博客网 时间:2024/06/06 18:19

如果从hadoop的单元测试开始研究源码的话,就不得不说下MiniDFSCluster。

 

MiniDFSCluster是一个本地单进程的模拟hdfs集群框架。

0.1.0版的比较简单,就以下几个内容:

1)NameNodeRunner:用来开启NameNode的一个线程;

2)DataNodeRunner:用来开启DataNode的一个线程;

3)shutdown方法:用来关闭上面开启的NameNode与DataNode;

4)getFileSystem方法:得到模拟hdfs的文件系统;

 

后期的版本还提供了一个模拟mapreduce的集群框架MiniMRCluster。

 

原创粉丝点击