设置hadoop Job允许map task失败的比例
来源:互联网 发布:python scatter 气泡 编辑:程序博客网 时间:2024/04/25 12:50
设置hadoop Job允许map task失败的比例
故事背景:
hadoop任务分为map task和reduce task,当map task执行失败后会重试,超过重试次数(mapred.map.max.attempts指定,默认为4),整个job会失败,这是我们不想看到的。
解决办法:
hadoop提供配置参数“mapred.max.map.failures.percent”解决这个问题。如果一个Job有200个map task,该参数设置为5的话,则单个job最多允许10个map task(200 x 5% =10)失败,这是我想要的。
把下面配置放到mapred-site.xml文件中,重启jobtracker(hadoop-daemon.sh stop/start jobtracker ),这下大家满足了吧^_^
- <property>
- <name>mapred.max.map.failures.percent</name>
- <value>5</value>
- </property>
PS:reduce task有类似配置mapred.max.reduce.failures.percent
0 0
- 设置hadoop Job允许map task失败的比例
- 设置hadoop Job允许map task失败的比例
- 设置hadoop Job允许map task失败的比例
- [Hadoop]设置Task的jvm heap size
- 【hadoop】task内存设置
- 【hadoop】task内存设置
- hadoop 一个Job多个MAP与REDUCE的执行
- hadoop 一个Job多个MAP与REDUCE的执行
- hadoop 一个Job多个MAP与REDUCE的执行
- Hadoop's Map Task Distribution
- Hadoop中作业(job)、任务(task)和task attempt
- hadoop 分片与分块,map task和reduce task的理解
- hadoop 分片与分块,map task和reduce task的理解
- Hadoop使用JobControl设置job之间的依赖关系
- Hadoop Job的提交
- Hadoop Map Reduce Task默认任务数调优
- hadoop map task 数量的确定
- hadoop task的执行
- 《驯服烂代码》一书章节规划
- http://technet.microsoft.com/zh-cn/library/ms172932.aspx
- android源码编译快捷命令
- Prim算法求最小生成树
- c语言跨平台的实用技巧
- 设置hadoop Job允许map task失败的比例
- 理工大学ACM平台题答案关于C语言 1159 C语言实验——两个数比较
- 【android,14】14.为应用程序多个activity的应用和数据的传输
- android idle和suspend的区别代码
- 获取Android设备唯一标识码
- 栈溢出、內存溢出、Java內存泄露
- 1/3 - 3/5 + 5/7 - 7/9 ...+ 19/21
- Http 请求到底有多慢
- 新手入门--输入格式五