关于"failed to report status for 600 seconds. killing"的错误
来源:互联网 发布:p6软件 编辑:程序博客网 时间:2024/06/05 15:47
在做CPU密集型的MR任务时,有时会出现failed to report status for 600 seconds. killing的错误,分析了一下,是因为task长时间在跑任务,没有向jobtracker发送心跳包。 有以下方法可以改善这个问题。
1. 延长task超时时间
这种方法通过修改配置项mapred.task.timeout来延长超时时间。 默认是600000ms,可以根据任务的不同在相应job的configuration配置。 或者修改hadoop系统的配置文件更改全局配置。
在mapred-site.xml里面多加上
<property>
<name>mapred.task.timeout</name>
<value>600000</value><!--這是預設-->
</property>
更换这个属性,设置成0表示不限制。
conf.set("mapred.task.timeout","0");...結果是一樣的
2. 手动汇报
在task里可以定期调用org.apache.hadoop.mapreduce.TaskAttemptContext.progress()来向jobtracker发送心跳包,防止任务超时。
0 0
- 关于"failed to report status for 600 seconds. killing"的错误
- hadoop错误failed to report status for 600 seconds
- FAILED Task attempt_xx_r_000000_0 failed to report status for 600 seconds
- Task failed to report status for 1200 seconds. Killing!老碰到这种问题怎么解
- hadoop抛出failed to report status for 600 seconds异常
- failed to render and update auto layout status for....
- 解决 Memcached 的 failed to get SockIO obj for...错误
- 关于error: command 'gcc' failed with exit status 1错误的解决方法的一些总结
- 关于Python安装模块出现error: command 'gcc' failed with exit status 1错误的解决方法
- Inbound IDOC Status Report for Sales Orders
- Inbound IDOC Status Report for Sales Orders
- Inbound IDOC Status Report for Sales Orders
- hydro下gazebo的Failed to connect to master in 30 seconds 问题
- 关于错误Failed to open dex from file descriptor for zip file
- Spring MVC json报406错误的解决办法 Failed to load resource: the server responded with a status of 406
- blocked for more than 120 seconds 错误
- 关于使用springmvc时Failed to load resource: the server responded with a status of 400 (Bad Request)错误可能原因
- 关于使用springmvc时Failed to load resource: the server responded with a status of 400 (Bad Request)错误可能原因
- Localhost ,127.0.0.1 和 计算机 IP地址
- nutch安装与测试
- iOS 多线程 锁 互斥 同步
- SQL SERVER分区表探寻(二)
- 画刷和歌词播放效果+变换和投射
- 关于"failed to report status for 600 seconds. killing"的错误
- dedecms 按照ID升序 降序排列方法
- jQuery Autocomplete 使用详细说明(二)
- ARC forbids Objective-C objects in structs or unions
- 排序并过滤掉相同的值 一种算法 和 其优化算法(使用it.unimi.dsi.fastutil.longs.LongOpenHashSet)
- ubuntu 系统出现unable to resolve hostXXX问题的解决办法
- Oracle协议适配器错误解决办法
- android中的数据库操作
- 谈谈ANDROID反编译和防止反编译的方法(转)