Hadoop监控程序

来源：互联网发布：淘宝客口令链接二合一编辑：程序博客网时间：2024/05/16 12:53

最近一个项目需要收集hadoop作业的执行状态的信息，我给出了以下的解决策略：

1、从Hadoop提供的jobtracker.jsp获取需要的信息，这里遇到的一个问题是里面使用了application作用域
JobTracker tracker = (JobTracker) application.getAttribute("job.tracker");
而Jetty服务器是嵌入到Hadoop的内部的，
org.apache.mapred.Jobtracker.java
    InetSocketAddress infoSocAddr = NetUtils.createSocketAddr(
        conf.get(JT_HTTP_ADDRESS, "0.0.0.0:50030"));
        infoServer = new HttpServer("job", infoBindAddress, tmpInfoPort,
        tmpInfoPort == 0, conf);
       infoServer.setAttribute("job.tracker", this);

于是，如果想通过jsp页面获取统计信息的话，必须绕开Jetty服务器，或者在修改Jobtracker的中返回infoServer的一个引用，在代码中实现，不过显然这个需要修改Hadoop的核心代码，灵活性不高。

2.此项目已完成，主要通过Hadoop自带的API和仿照Hadoop的部分源码处理过程重新编写数据获取程序，基本可以抓到hadoop自带jetty页面的各种重要数据。

需要的请参照https://github.com/chongyangxue/HadoopMonitor