Giraph文件分片关键函数

来源:互联网 发布:java面对对象 编辑:程序博客网 时间:2024/06/06 10:11

jdwp的相关语句需要在bin/hadoop而非bin/giraph中添加,


简单的调用流程为:

hadoop/JobClient -> GiraphJob-> submittedJob.submit(); -》hadoop的Jobclient的jobClient.submitJobInternal(conf);-》执行

  maps = writeNewSplits(job, jobSubmitDir);

中间调用BSPInputformat的getSplits函数, Giraph中这里只是用于填充分片数便于hadoop 调度器分配任务,实际的split的地址是在BSPSErviceworker的InputSPltisCallable中多线程读取的,具体的分片在BspMaster的函数理,实际调用在GiraphFileInputFortmat 的getSplits函数中。

 


原创粉丝点击