MapReduce错误任务失败处理
来源:互联网 发布:淘宝颜色选择图片尺寸 编辑:程序博客网 时间:2024/04/24 16:21
MapReduce的作业失败主要分三个层次,即jobtracker失败,tasktracker,子任务实例
1,jobtracker失败
jobtracker失败应该说是最严重的一种失败方式了,而且在hadoop中存在单点故障的情况下是相当严重的,因为在这种情况下作业最终失败,尽管这种故障的概率极小但是还是应该避免,可以通过启动多个jobtracker,在这种情况只运行一个主的jobtracker.通过一种机制来确定那个是主的jobtracker.
2,tasktacker失败
作业运行期间,tasktracker会通过心跳机制不断与系统jobtracker通信,如果某个tasktracker运行缓慢或者失败,出现故障。tasktracker就会停止或者很少想jobtracker发送心跳,jobtracker会注意到此tasktracker发送心跳的情况,从而将此tasktracker从等待任务调度的tasktracker池中移除,jobtracker会安排此tasktracker上一成功运行的map任务返回,
①,如果他们属于为完成的作业的化,reduce阶段无法获取改tasktracker上的本地map输出文件,任何任务都需要重新调度---即只要是mapping阶段必然是重新执行
②,如果是reduce阶段呢,如果是reduce阶段自然就是执行为完成的reduce任务了,因为reduce只要执行完了的就会把输出写到Hdfs上
3,子任务失败,这个是不是可以理解为JVM级别的
①,当map或者reduce子任务中的代码抛出异常,JVM进程会在退出之前向服进程tasktracker进程发送错误报告,,tasktracker会将此(任务尝试)task attempt标记为failed状态,释放一个槽以便运行另外一个任务
②,对于流任务,如果流进程以非零退出代码退出运行则会标记为failed。
③,子JVM突然退出,即JVM错误,这时tasktracker会注意到进程已经退出,标记为failed
tasktracker将子任务标记为失败后会将自身计数器减一,以便想jobtracker申请新的任务,也是通过心跳告知jobtracker本地的一个任务尝试失败。jobtracker接到任务失败的通知后,会将其重新加入到调度队列重新分配给其他的tasktracker执行(避免将失败的任务分配给执行失败的tasktracker),但是这个尝试也是有次数限制的,默认情况下任务尝试4次后仍然没有完成,就不会再重试(jobtracker会将其标记为killed),此时整个作业就执行失败了。
4,jobcleanup,recoverymanager,taskcleanup,expiretrackers,expirelaunchingtasks,监测失效,清除恢复,还有好多后台线程。。。。
- MapReduce错误任务失败处理
- 启动mapreduce任务失败会报一下错误:
- 【Hadoop】MapReduce笔记(二):MapReduce容错,任务失败处理
- MapReduce错误处理,任务调度及Shuffle过程
- Hive调用MapReduce任务失败
- MapReduce任务Shuffle Error错误
- MapReduce任务Shuffle Error错误
- Hadoop回顾--MapReduce错误处理
- MapReduce之如何处理失败的task
- mapreduce任务失败、重试、推测式执行机制小结
- mapreduce任务失败、重试、推测式执行机制小结
- 内存分配失败错误处理
- 内存分配失败错误处理
- 内存分配失败错误处理
- 错误 1 “GenerateResource”任务意外失败。
- vs2005 错误 12 “GenerateResource”任务意外失败
- 错误 1 “ResolveAssemblyReference”任务意外失败。
- 解决GenerateWcfClientFilesTask_任务意外失败错误
- OpenCV学习笔记(30)KAZE 算法原理与源码分析(四)KAZE特征的性能分析与比较
- centos6 yum安装nginx、php-fpm
- opengl es 纹理压缩
- 各种字符串Hash函数比较
- Vim常用命令
- MapReduce错误任务失败处理
- ASP.Net 上传达文件设置
- HDU 1520 Anniversary party树状DP
- android 使用SurfaceView实现小球高处落下并弹起的效果
- 第三次作业
- linux查看硬件配置的命令
- TCP协议三次握手过程分析
- ViewConfiguration的简单介绍
- android TextView实现跑马灯效果