Hadoop源码分析33 Child的主要流程
来源:互联网 发布:15万suv还是轿车 知乎 编辑:程序博客网 时间:2024/05/21 00:47
添加调试参数:
<property>
</property>
提交作业:
hadoop
生成2个Map、2个Reduce任务。
执行Setup任务:
args= [127.0.0.1,40996, attempt_201404282305_0001_m_000003_0,/opt/hadoop-1.0.0/logs/userlogs/job_201404282305_0001/attempt_201404282305_0001_m_000003_0,-1093852866]
变量:
jvmId=JVMId{id=-1093852866,isMap=true,jobId=job_201404282305_0001}
cwd=/tmp/hadoop-admin/mapred/local/taskTracker/admin/jobcache/job_201404282305_0001/attempt_201404282305_0001_m_000003_0/work
jobTokenFile=/tmp/hadoop-admin/mapred/local/taskTracker/admin/jobcache/job_201404282305_0001/jobToken
taskOwner=job_201404282305_0001
umbilical=(TaskUmbilicalProtocol)RPC.getProxy(TaskUmbilicalProtocol.class,
context=JvmContext{jvmId=jvm_201404282305_0001_m_-1093852866,pid="28737"}
myTask =JvmTask
job= JobConf{Configuration:core-default.xml, core-site.xml, mapred-default.xml,mapred-site.xml,/tmp/hadoop-admin/mapred/local/taskTracker/admin/jobcache/job_201404282305_0001/job.xml}
currentJobSegmented= false
isCleanup =false
DistributedFileSystem的workingDir=hdfs://server1:9000/user/admin
启动一个TaskReporter线程,检查Task.progressFlag变量(AtomicBoolean),true则通过RPC汇报statusUpdate(taskId,taskStatus,jvmContext),false则通过RPC进行ping(askId,jvmContext).
Task的jobContext={conf={Configuration:core-default.xml, core-site.xml, mapred-default.xml,mapred-site.xml, hdfs-default.xml, hdfs-site.xml,/tmp/hadoop-admin/mapred/local/taskTracker/admin/jobcache/job_201404282305_0001/job.xml},
job=JobConf{Configuration:core-default.xml, core-site.xml, mapred-default.xml,mapred-site.xml, hdfs-default.xml, hdfs-site.xml,/tmp/hadoop-admin/mapred/local/taskTracker/admin/jobcache/job_201404282305_0001/job.xml},
jobId={job_201404282305_0001}}
Task的taskContext={conf={Configuration:core-default.xml, core-site.xml, mapred-default.xml,mapred-site.xml, hdfs-default.xml, hdfs-site.xml,/tmp/hadoop-admin/mapred/local/taskTracker/admin/jobcache/job_201404282305_0001/job.xml},taskId=attempt_201404282305_0001_m_000003_0,jobId=job_201404282305_0001,status=""}
outputFormat=org.apache.hadoop.mapreduce.lib.output.TextOutputFormat@7099c91f
committer={outputFileSystem=DFS[DFSClient[clientName=DFSClient_attempt_201404282305_0001_m_000003_0,ugi=admin]],outputpath=/user/admin/out/128,workPath=hdfs://server1:9000/user/admin/out/128/_temporary/_attempt_201404282305_0001_m_000003_0}
Task的resourceCalculator=org.apache.hadoop.util.LinuxResourceCalculatorP
Task的initCpuCumulativeTime=13620
建立文件夹 /user/admin/out/128/_temporary后则完成.
- Hadoop源码分析33 Child的主要流程
- Hadoop源码分析34 Child的Map
- Hadoop源码分析36 Child的Reduce分析
- Hadoop源码分析笔记(八):HDFS主要流程
- Hadoop源码分析7: IPC流程(1) 主要类
- Hadoop源码分析25 JobInProgress 主要容器
- eMule源码主要调用流程分析
- webrick源码分析──主要流程
- 分析av_open_input_file的主要流程
- hadoop yarn的job提交流程源码分析
- nginx源码学习 主要的工作流程
- Hadoop源码分析32 TaskTracker流程
- Hadoop源码分析26 JobTracker主要容器和线程
- 【原创】k8s源码分析-----kubelet(1)主要流程
- Hadoop源码分析7: IPC流程(2) 流程
- Hadoop源码分析16: IPC流程(11) 整体流程
- ARTistGUI主要流程分析
- Hadoop之wordcount源码分析和MapReduce流程分析
- Hadoop源码分析28 JobTracker 处理JobClient请求
- Hadoop源码分析29 split和splitmetainfo
- Hadoop源码分析30 JobInProgress 的 TaskInProgress 执行情况
- Hadoop源码分析31 TaskTracke成员
- Hadoop源码分析32 TaskTracker流程
- Hadoop源码分析33 Child的主要流程
- Hadoop源码分析34 Child的Map
- Collection测试
- Hadoop源码分析35 QuickSort & HeapSort
- Hadoop源码分析36 Child的Reduce分析
- 傅里叶变换
- 数学公式和标点符号的英文读法
- 浅谈PROFINET IO通信的实时性
- Synchnorized 辨析 (1)