hadoop源码之MiniDFSCluster
来源:互联网 发布:网络盗窃游戏装备 编辑:程序博客网 时间:2024/06/06 18:19
如果从hadoop的单元测试开始研究源码的话,就不得不说下MiniDFSCluster。
MiniDFSCluster是一个本地单进程的模拟hdfs集群框架。
0.1.0版的比较简单,就以下几个内容:
1)NameNodeRunner:用来开启NameNode的一个线程;
2)DataNodeRunner:用来开启DataNode的一个线程;
3)shutdown方法:用来关闭上面开启的NameNode与DataNode;
4)getFileSystem方法:得到模拟hdfs的文件系统;
后期的版本还提供了一个模拟mapreduce的集群框架MiniMRCluster。
- hadoop源码之MiniDFSCluster
- hadoop源码之NameNode
- hadoop源码之DataNode
- Hadoop源码之JobTracker
- Hadoop源码之TaskTracker
- hadoop源码之JobQueueTaskScheduler
- Hadoop源码之JobTracker
- hadoop 之源码 job
- hadoop 之源码 ResourceManager
- Hadoop源码之ToolRunner
- hadoop学习之查看hadoop源码
- hadoop源码之Configuration解析
- hadoop 源码解析之LocatedBlock
- Hadoop源码之RPC机制
- Hadoop源码分析之开篇
- Hadoop源码分析之Configuration
- Hadoop源码分析之FileSystem
- Hadoop源码分析之DistributedFileSystem
- Afinal 0.3.3 发布,Android快速开发框架
- uva 704 - Colour Hash map+双向bfs
- 软件测试用例的设计和其重要性
- Linux中如何创建静态库和动态库
- 简单的转账Tran 事务例子
- hadoop源码之MiniDFSCluster
- linux NAND驱动之三:6410平台上的NAND驱动加载
- 替代Google的七款最优秀语义搜索引擎
- JAVA 多线程同步工具类总结
- 通过端口 1433 连接到主机 localhost 的 TCP/IP 连接失败的解决方法
- dqdw
- 高速列车电视 服务无微不至
- html中的Object标签(如在jsp页面嵌入windows media player 就用到了)
- 【数据结构】C语言实现链表节点的插入和删除