【Hadoop】10、Hadoop的mapreduce搭建
来源:互联网 发布:东莞搜索引擎优化排名 编辑:程序博客网 时间:2024/06/05 20:25
Hadoop的mapreduce搭建
MapReduce
首先是spliting吧一个块切割成各种小的
MapReduce的split大小
Max.split(100M)
Min.split(10M)
Block(64M)
Max(min.split, min(max.split,block))
MapReduce的架构
主多从结构
主JobTracker:
负责调度分配每个子任务taskTracker上,如果发现有失败的task就重新分配其任务到其他节点,每个hadoop集群中只一个JobTracker一般它运行在Master节点上(也就是secondaryNode)
从TaskTracker
Tasktracker主动与JobTracker通信,接收作业,并负责直接执行每一个任务,为了减少网络带宽TaskTracker最好运行在HDFS的datanode上
开始搭建
我们随意指定一台机器为主JobTracker
我们用node2作为JobTracker
修改配置文件
官网
后面的TaskTracker不用直接配,默认就是其他datanode
吧这个文件发到其他主机上
传好之后
启动
然后我们的第一个节点
也就是我们的JobTracker是
我们其他的datanode是
结果:
0 0
- 【Hadoop】10、Hadoop的mapreduce搭建
- Hadoop环境搭建,以及mapreduce的使用
- hadoop搭建之HDFS,MapReduce
- Hadoop搭建并执行MapReduce
- hadoop的mapreduce过程
- Hadoop的MapReduce
- Hadoop-简单的MapReduce
- Hadoop-MapReduce的格式
- Hadoop的MapReduce
- 03hadoop的MapReduce
- hadoop-企业版环境搭建(三)-mapreduce和yarn的安装
- MapReduce&hadoop
- Hadoop MapReduce
- Hadoop MapReduce
- Hadoop MapReduce
- Hadoop Mapreduce
- Hadoop MapReduce
- hadoop mapreduce
- jquery each()用法
- IplImage结构体数据解析
- Error: No resource found that matches the given name (at 'theme' with value '@style/ AppTheme').
- 双线性插值
- 【POJ 1741】Tree(树分治)
- 【Hadoop】10、Hadoop的mapreduce搭建
- swift创建空项目(最新版)
- GRBL五:STM32代码移植——定时器控制策略解析
- 简单LVS-NAT的实现
- Unity 着色器
- ext tree展开时的一些技巧
- 简单LVS-DR的实现
- 粘糊糊的,太阳时不时从厚厚的云层里探出头
- 如何用jQuery实现在鼠标滚动后导航栏保持固定