hadoop监控系统

一、ELLA 监控需求

XMonitor监控系统( svn目录 svn.d.xiaonei.com/hadoop/Xmonitor)

1 监控展示

• NameNode : gc_heap/load/performance/cluster/operation
• JobTracker : gc_heap/rpc/job_status/queue_status
• HMaster:
• Monitor: big_job/dead DN,dead TT/clear Log/check Point

2 监控查询

• DataNode disk ：磁盘情况，block情况
• Region server load ：负载，请求数量
• User space 增量： 集群二级目录的HDFS使用量

2 Auto Operation 自动化运维( svn目录 svn.d.xiaonei.com/hadoop/Operations)*

• ping :     
• nnCheck
• jtCheck
• checkHDFS
• kill_job
• job_check

Ella主要分为两部分，一部分负责信息的抓取,一部分负责可视化展示

二、ELLA 安装部署

1.源码地址

稍后上传到github

2.数据库准备

手动创建一个数据库，然后使用sql/sql.txt中的ddl创建Ella所需要的表

3.配置文件

信息抓取程序和可视化展示的web程序都依赖conf/ella.properties配置文件

#Prod
hbase.master=10.4.18.xx:60000
hbase.zookeeper.quorum=10.4.18.22,10.4.18.23,10.4.18.24,10.4.18.32,10.4.18.33,10.4.18.34
hbase.zookeeper.property.clientPort=2222

JMX_NN_Heap=java.lang:type=MemoryPool,name=*
JMX_NN_GC=java.lang:type=GarbageCollector,name=*
JMX_NN_Cluster=Hadoop:service=NameNode,name=FSNamesystemMetrics
JMX_NN_FSOpeation=Hadoop:service=NameNode,name=NameNode
JMX_NN_Rpc=Hadoop:service=NameNode,name=RpcDetailedActivityForPort8020
JMX_NN_Interval=600000
JMX_NN_Port=50070

JMX_JT_Heap=java.lang:type=MemoryPool,name=*
JMX_JT_GC=java.lang:type=GarbageCollector,name=*
JMX_JT_Rpc=Hadoop:service=JobTracker,name=RpcDetailedActivityForPort8021
JMX_JT_Status=Hadoop:service=JobTracker,name=JobTrackerMetrics
JMX_JT_Interval=600000
JMX_JT_Port=50030

JMX_RS_Heap=java.lang:type=MemoryPool,name=*
JMX_RS_GC=java.lang:type=GarbageCollector,name=*
JMX_RS_Load_Performance=hadoop:service=RegionServer,name=RegionServerStatistics
JMX_RS_Rpc=hadoop:service=HBase,name=RPCStatistics-60020
JMX_RS_Interval=600000
JMX_RS_Port=60030

#mysql
mysql.db.driver=com.mysql.jdbc.Driver
mysql.db.url=jdbc:mysql://10.3.18.30:4410/xmonitor
mysql.db.user=ad
mysql.db.pwd=******

#interval
ella.hdfs.namenode.interval=600000
ella.hdfs.datanode.interval=14400000
ella.mr.jobtracker.interval=600000
ella.mr.job.interval=21600000
ella.hbase.master.interval=600000

4.部署信息抓取器

    1.进入minitor/目录，使用mvn package将负责信息抓取的代码打成一个jar包(所有依赖的jar也会打入该jar包)

    2.rs_host表中添加所有RegionServer的ip地址

    3.主运行类为com.xiaonei.xmonitor.Monitor,运行该类

5.部署可视化展示Web程序

     1.进入web/目录，使用mvn package将web打成一个war包

     2.将生成的war包部署到一个web服务器中

6.线上Ella部署

http://ella.d.xiaonei.com:8080/

用户名密码admin/admin

7.重启 

tomcat 部署在：/opt/apache-tomcat-6.0.37/bin 目录 startup.sh

dbserver 部署在：/opt/hadoop_cluster_install/script/maintain/yz/XMonitor/DBServer/ 目录 setup-dbserver.sh