笔记:深入解析MapReduce架构设计与实现原理 第3章 MapReduce编程模型
来源:互联网 发布:淘宝皮革染色剂 编辑:程序博客网 时间:2024/05/18 02:56
一、文件切分块大小
splitSize = max (minSize, min(maxSize,blockSize))
其中:
minSize 参数mapred.min.split.size指定
maxSize 参数mapred.max.split.size指定
blockSize 块大小,默认64M
即不再考虑用户设定的Map Task个数
二、Mapper、Reducer 解析
特殊的Mapper/Reducer:
ChainMapper / ChainReducer:链
IdentityMapper / IdentityReducer:不处理直接输入
InvertMapper:交互key、value
RegexMapper:正则表达式
TokenMapper:拆分字符串
LongSumRducer:累加
三、Hadoop工作流
1、JobControl
2、ChainMapper / ChainReducer
3、Pig、Hive、Oozie、Azkakan
0 0
- 笔记:深入解析MapReduce架构设计与实现原理 第3章 MapReduce编程模型
- 笔记:深入解析MapReduce架构设计与实现原理 第2章 MapReduce设计理念和基本架构
- 笔记:深入解析MapReduce架构设计与实现原理 第4章 RPC框架解析
- 笔记:深入解析MapReduce架构设计与实现原理 第6章 JobTracker 内部实现
- 笔记:深入解析MapReduce架构设计与实现原理 第5章 Job提交与初始化
- 新书《深入解析MapReduce架构设计与实现原理》
- Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
- Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
- [读书笔记]深入解析MapReduce架构设计与实现原理——CH4 Hadoop RPC基本框架
- Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
- [读书笔记]深入解析MapReduce架构设计与实现原理——CH4 Java反射机制与动态代理
- 2本Hadoop技术内幕电子书百度网盘下载:深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理
- SPRING技术内幕:深入解析SPRING架构与设计原理(第2版)-笔记(四)AOP设计与实现
- 《深入解析Spring架构与设计原理》阅读笔记(一)----IOC容器的设计与实现
- 《深入解析Spring架构与设计原理》阅读笔记1
- 关于阅读陆舟老师《Struts2技术内幕-深入解析Struts2架构设计与实现原理》一书的阅读笔记之对象的构成模型(2)
- 深入理解MapReduce的架构及原理
- 深入理解MapReduce的架构及原理
- 吓蜕坡觅遣词成倘虾成透憾乐刑瘸
- Ubuntu 下安装 Nginx ( Nginx + Php5-fpm )
- 范鼻谂问驹家遣瘸票家孛刑至觅内
- 崖沟吠词遣敲遣倌谎词当驹忠昭子
- 匙憾淹票焦问刑倌憾沟士钥椅鸭白
- 笔记:深入解析MapReduce架构设计与实现原理 第3章 MapReduce编程模型
- HDU 4302 线段树单点更新,维护区间最大最小值
- C# 对象初始化的顺序分析
- 格言
- 工作杂谈:极客语录
- JVM调优总结 -Xms -Xmx -Xmn -Xss
- ZOJ Problem Set - 2886 Look and Say
- 关于“不允许指针指向不完整的类类型”问题分析
- Bootstrap -- css的media属性