MapReduce具体工作流程
来源:互联网 发布:阿里云服务器怎么备案 编辑:程序博客网 时间:2024/04/28 01:20
1、client提交数据到DFS,然后被分为多个split,然后通过inputformatter以key-value传给jobTraker,jobTraker分排工作给多个map(taskTraker),工程师重写map,在各个taskTraker上分别执行代码任务,做到数据不动,代码动。真正实现代码分布式。
2、tasktraker执行完代码后,将结果通过上下文收集起来,再传给reduce(也是taskTraker),经过排序等操作,再执行工程师重写的reduce方法,最终将结果通过outputFormatter写到DFS。
0 0
- MapReduce具体工作流程
- 详解MapReduce工作流程
- 详解MapReduce工作流程
- Mapreduce工作流程
- MapReduce工作流程
- 图解MapReduce工作流程
- 详解MapReduce工作流程
- Mapreduce基本工作流程
- Mapreduce的工作流程
- MapReduce工作流程详述
- Mapreduce工作原理及流程
- MapReduce 原理及其工作流程
- Hadoop MapReduce工作详细流程
- hadoop-mapReduce工作流程和组件简介
- MapReduce详细的工作流程(MapReduce1)
- MapReduce详细的工作流程(MapReduce2)
- Hadoop总结四:MapReduce工作流程
- Mapreduce工作流程及部分类探究
- AIX 7 administrator 译文
- 3 sum problem
- JAVA GC机制
- Linux命令学习手册-objdump命令
- struts2请求过程源码分析
- MapReduce具体工作流程
- C# 验证数字、小数正则表达式
- 【重读设计模式】责任链模式
- 心花路放高清在线播放http://item.taobao.com/item.htm?_u=k33n3m0597d&id=41415650611
- 浅谈Struts2拦截器Interceptor的设计原理
- java多线程相关问题整理
- set 容器
- MFC中CString.Format的详细用法
- 1.多彩的幕布CCLayerColor,CCLayerGradient