Hadoop的MapReduce执行过程
来源:互联网 发布:淘宝装修收藏店铺 编辑:程序博客网 时间:2024/04/29 16:26
执行MapReduce的命令hadoop jar <jar在linux的路径> <main方法所在的类的全类名> <参数>例子:hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://yzy:9000/animals/result
MR执行流程
- 客户端提交一个mr的jar包给JobClient(提交方式:hadoop jar … 也就是执行jar里面的main方法)
- JobClient通过RPC和JobTracker(RM)进行通信,返回一个存放jar包的地址(HDFS)和jobId
- client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
- 开始提交任务(任务的描述信息,不是jar, 包括jobid,jar存放的位置,配置信息等等)
- JobTracker进行初始化任务
- 读取HDFS上的要处理的文件,开始计算输入分片,每一个分片对应一个MapperTask
- TaskTracker(NM)通过心跳机制领取任务(任务的描述信息)
- NM去HDFS下载所需的jar,配置文件等
- TaskTracker启动一个java child子进程,用来执行具体的任务(MapperTask或ReducerTask)
- 将结果写入到HDFS当中
0 0
- Hadoop的MapReduce执行过程
- hadoop中mapreduce的执行过程
- Hadoop MapReduce 程序执行过程
- Hadoop MapReduce执行过程详解
- Hadoop MapReduce执行过程详解
- Hadoop的MapReduce函数的执行的过程
- hadoop的mapreduce过程
- Hadoop MapReduce执行过程实例详解
- Hadoop MapReduce执行过程中map和reduce执行过程
- Hadoop MapReduce的shuffle过程
- MapReduce的执行过程介绍
- Hadoop MapReduce执行过程详解(带hadoop例子)
- Hadoop MapReduce执行过程详解(带hadoop例子)
- Hadoop MapReduce执行过程详解(带hadoop例子)
- Hadoop MapReduce执行过程详解(带hadoop例子)
- Hadoop MapReduce执行过程详解(带hadoop例子)
- Hadoop MapReduce执行过程详解(带hadoop例子)
- Hadoop MapReduce执行过程详解(带hadoop例子)
- 老板让我做一个socket服务器连接客户端和一个wifi?
- 如果可以,我不想把O盟“王牌计划”推荐给你
- Solr 6.0 学习(十二)SolrParamer实现
- H5视频直播流程
- Android 内存优化-实例
- Hadoop的MapReduce执行过程
- VUE.js的基础知识
- Python tornado上传文件
- 拔掉手机与电脑连接的数据线,传感器竟然不工作了
- Android干货框架集锦,搭建项目必不可少
- Python——正则表达式 1)
- python连接oracle数据库.so文件未找到的解决办法
- 北京天宇联科技有限责任公司-T语言中html页面keys键值的设置
- java 操作excel