Hadoop心跳机制源码分析
来源:互联网 发布:长征 知乎 编辑:程序博客网 时间:2024/04/29 12:47
一.体系背景
首先和大家说明一下:hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇博客:
1. hadoop的RPC机制(参考:http://weixiaolu.iteye.com/blog/1504898 )
2. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774 )
3. Java NIO(参考 :http://weixiaolu.iteye.com/blog/1479656 )
以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。
二.心跳机制
1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。
2. master启动的时候,会开一个ipc server在那里,等待slave心跳。
3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。
4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。
三.Datanode、Namenode心跳源码分析
既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:
代码一:
- /**
- * 循环调用“发送心跳”方法,直到shutdown
- * 调用远程Namenode的方法
- */
- public void offerService() throws Exception {
- •••
- while (shouldRun) {
- try {
- long startTime = now();
- // heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间
- if (startTime - lastHeartbeat > heartBeatInterval) {
- lastHeartbeat = startTime;
- //Datanode发送心跳
- DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,
- data.getCapacity(),
- data.getDfsUsed(),
- data.getRemaining(),
- xmitsInProgress.get(),
- getXceiverCount());
- myMetrics.addHeartBeat(now() - startTime);
- if (!processCommand(cmds))
- continue;
- }
- •••
- }
- } // while (shouldRun)
- } // offerService
需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:
代码二:
- public DatanodeProtocol namenode = null;
namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:
代码三:
- this.namenode = (DatanodeProtocol)
- RPC.waitForProxy(DatanodeProtocol.class,
- DatanodeProtocol.versionID,
- nameNodeAddr,
- conf);
其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考博客:http://weixiaolu.iteye.com/blog/1504898 。
四.Tasktracker、Jobtracker心跳源码分析
同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码:
代码四:
- 代码一:
- State offerService() throws Exception {
- long lastHeartbeat = System.currentTimeMillis();
- while (running && !shuttingDown) {
- •••
- // 发送心跳,调用代码二
- HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);
- •••
- return State.NORMAL;
- }
- 代码二:
- HeartbeatResponse transmitHeartBeat(long now) throws IOException {
- •••
- HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,
- justStarted,
- justInited,
- askForNewTask,
- heartbeatResponseId);
- •••
- return heartbeatResponse;
- }
其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议:
代码五:
- InterTrackerProtocol jobClient;
该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:
代码六:
- this.jobClient = (InterTrackerProtocol)
- UserGroupInformation.getLoginUser().doAs(
- new PrivilegedExceptionAction<Object>() {
- public Object run() throws IOException {
- return RPC.waitForProxy(InterTrackerProtocol.class,
- InterTrackerProtocol.versionID,
- jobTrackAddr, fConf);
- }
- });
代理的底层实现也是RPC机制。参考博客:http://weixiaolu.iteye.com/blog/1504898 。
终于,hadoop底层通信整个系列的源码分析全部完成了。我可以好好地复习学校的功课了。呵呵。
转自:http://weixiaolu.iteye.com/blog/1544860
- Hadoop心跳机制源码分析
- Hadoop心跳机制源码分析
- Hadoop心跳机制源码分析
- Hadoop心跳机制源码分析
- Hadoop源码分析之心跳机制
- Hadoop源码分析之心跳机制<转>
- Hadoop源码分析之心跳机制
- Hadoop源码分析之心跳机制
- hadoop心跳机制源码解析
- 3.hadoop心跳机制分析
- Hadoop之MapReduce框架心跳机制分析
- hadoop心跳机制解析
- hadoop心跳机制解析
- Hadoop中的心跳机制
- Hadoop 心跳机制解析
- Hadoop心跳机制
- hadoop心跳机制
- Hadoop源码分析24 JobTracker启动和心跳处理流程
- 交叉编译内核模块的Makefile范本
- Windows7共享无线总提示密码错误问题的解决方法
- 源码级强力分析hadoop的RPC机制
- 谈一谈自己对依赖、关联、聚合和组合之间区别的理解
- 又是一个不眠的夜
- Hadoop心跳机制源码分析
- Android控件TextView的实现原理分析
- 深入浅出 Cocoa 多线程编程之 block 与 dispatch quene
- 关于Qt加载不了 jpeg图片
- iOS6新特征:UICollectionView介绍
- dll封装3
- IE6下PNG图像透明完美解决方案–DD_belatedPNG
- 解惑REST架构
- C/C++编译器-cl.exe的命令选项 || 找不到mspdb80.dll文件