Hadoop监测工具——Splunk安装与使用

Splunk对于各种日志的监测非常好用，个人感觉它与Ganglia的最大不同点在于：Ganglia只是采集实时的数据并显示，不会对这些数据进行存储和备份，但是Splunk会将监测到的数据进行存储，并对这些数据进行有效的索引。另外，Splunk对于日志数据的分析功能也十分强大，它支持对于日志信息的检索，它定义了一种类似SQL语句的查询语法，能够针对日志数据中的不同字段进行查询。当然，你可以根据需要认为指定需要的字段，这一点类似于MongleDB这样的文档数据库，即没有Schema的限制。最后，Splunk能够对检测数据生成美观的报表。

       Splunk分为免费版和商业版，免费版最大的限制就是每天增加的日志量不能超过500M。所以，如果只是检测单机的情况，免费版是够用的，但是如果用于检测集群，就不够用了。本人用Splunk检测四个节点的Hadoop集群，就会发现数据量超出免费版限制。

      下面，我简单介绍一下如何用Splunk 检测Hadoop集群：

1. Splunk基本组成部分

     Splunk关键的组成部分包括：Search Head、Indexer、Forwarder。

     Search Head: 提供对于监测数据的查询功能，并且提供Web访问服务；

     Indexer： 用于对收集的日志数据进行索引；

     Forwarder：用于收集本地的日志信息，发送给Indexer和Search Head。

2. Splunk下载

     splunk-5.0.4-172409-Linux-i686.tgz： http://www.splunk.com/download （Splunk Search Head + Splunk Indexer）

     Splunk Universal Forwarder: http://www.splunk.com/download/universalforwarder

     上面是Splunk的基本组成部分，下面是Splunk监测Hadoop的组件有：

     Splunk App for HadoopOps：http://apps.splunk.com/app/1173   (这个需要安装在Search Head，负责收集其他节点发送的Hadoop信息)

     Splunk Technology Add-on for HadoopOps：http://apps.splunk.com/app/1182 （这个需要安装在需要监测的每个集群节点上面，负责收集每个节点的Hadoop信息）

3. Splunk安装

    首先介绍一下集群的环境：

             node1: 192.168.1.100  (Namenode + Jobtracker + Search Head + Indexer + Splunk App for HadoopOps)

             node2: 192.168.1.101 (SecondeNamenode + Datanode + Tasktracker + Forwarder +Splunk Technology Add-on for HadoopOps)

             node3: 192.168.1.102 (Datanode + Tasktracker + Forwarder +Splunk Technology Add-on for HadoopOps)

             node4: 192.168.1.103 (Datanode + Tasktracker + Forwarder +Splunk Technology Add-on for HadoopOps)

     1》 将splunk-5.0.4-172409-Linux-i686.tgz解压: tar xvzf splunk-5.0.4-172409-Linux-i686.tgz -C ~/ 

     2》 启动splunk：splunk_root/bin/splunk start

     3》 访问Splunk Web界面：192.168.1.100:8000，初次登陆用户名：admin，密码：changeme，修改密码。在右上角的Manager中选择Set up forwarding and receiving，增加新的receiving port 9997

     4》 在Hadoop集群节点上面解压Splunk Universal Forwarder，设置接收端ip和端口号：forwarder_root/bin/splunk add forward-server <indexerIPAddress>:<indexerPort>

     5》 将Splunk Technology Add-on for HadoopOps (TA) 解压到每个splunk forwarder的etc/apps目录下；重启splunk forwarder，bin/splunk restart；启动Hadoop监听，进入forwarder_root/etc/apps/Splunk_TA_hadoopops/bin，执行./hopsconfig.sh --auth <username>:<password> --enable-all

     6》 关闭node2~node4上所有的forwarder，在node1上安装Splunk App for HadoopOps，将Splunk App for HadoopOps的.zip文件解压到splunk目录下，重启splunk，bin/splunk restart；

     7》 进入node1的splunk_root/etc/apps/Splunk_TA_hadoopops/bin，执行./hopsconfig.sh --auth <username>:<password> --enable-all命令，启用Hadoop监听功能；

     8》 登录splunk web界面，192.168.1.100:8000，在右上角App下面应该会多出一个splunk app for HadoopOps选项，点击进入。第一次登录会出现几个设置界面，保持默认即可。

     9》 设置完成后，会出现Components, Utilization, Headlines, Activities四个界面，在components中有一个MANAGE SERVICES按钮，点击进入，会侦测到集群中所有可用的节点，全选save即可。此时，界面中会显示全部节点的监测信息，如下图所示：

关于Splunk App for HadoopOps的使用方法在这里不做过多介绍，感兴趣的朋友可以参考：http://docs.splunk.com/Documentation/HadoopOps/latest/HadoopOps/TheSplunkAppforHadoopOpsuserinterface