Hadoop 任务执行方面的优化
来源:互联网 发布:matlab初始化数组 编辑:程序博客网 时间:2024/05/21 17:23
1. 推测式执行:
如果jobtracker 发现有拖后的任务,会再启动一个相同的备份任务,然后哪个先执行完就会去kill掉另一个,因此会在监控页面上经常能看到正常执行完的作业会有被kill掉的任务。
2.推测式执行缺省打开,但如果是代码问题,并不能解决问题,而且会使集群更慢,通过在mapred-site.xml 配置文件中设置 mapred.map.tasks.speculative.execution 和mapred.reduce.tasks.speculative.execution 可为map任务或reduce 任务开启或关闭推测式执行,
3.重用jvm.
可以省去启动新的jvm 消耗的时间.在 mapred-site.xml 配置文件中设置mapred.job.reuse.jvm.num.tasks 设置单个jvm 上最大的任务数(1,> 1 或者-1 表示没有限制);
4.忽略模式
任务在读取数据失败2次后,会把数据位置告诉jobtracker ,然后重新启动该任务并且在遇到所记得坏数据时直接跳过,(缺省关闭,用SkipBadRecord方法打开)
阅读全文
0 0
- Hadoop 任务执行方面的优化
- hadoop任务的执行过程
- hadoop的mapreduce任务的执行流程
- Hadoop中Map任务的执行框架
- Hadoop中Reduce任务的执行框架
- Hadoop中Reduce任务的执行框架
- Hadoop中Map任务的执行框架
- 多轮hadoop任务执行
- Hadoop之MapReduce任务的优化
- hadoop的map和reduce任务的执行步骤
- crontab hadoop任务没有执行
- 优化方面的利器
- CSS方面的优化
- 精通HADOOP(九) - MAPREDUCE任务的基础知识 - 执行作业
- hadoop 里执行 MapReduce 任务的几种常见方式
- 如何杀掉当前正在执行的hadoop任务
- Hadoop 设置任务执行的队列以及优先级
- Hadoop 设置任务执行的队列以及优先级
- 错误集锦
- 数据显示列表 Table中 td 某列字段缩短省略
- In Android 8.0, the MountService class was renamed to StorageManagerService.
- MySQL运算符的优先级
- 跳马
- Hadoop 任务执行方面的优化
- python 列表list初始化
- trainning 2017-11-21
- extern与头文件(*.h)的区别和联系
- IntelliJ IDEA 常用快捷键
- ajax4jsf学习笔记之组件列表
- python libsvm模块在mac上的安装
- 关于某ios app登录关键字加密分析
- mybatis和hibernate的区别的简单的说的一下