ganglia安装

Ganglia安装

一．安装节点

Gmetad及web节点：bihdp05（主节点）

Gmond节点：bihdp05 bihdp06 bihdp07 bihdp08

二． 主机节点检查：

rpm -q gcc glibc glibc-common rrdtool rrdtool-devel apr apr-devel expat expat-devel  pcre pcre-devel dejavu-lgc-sans-mono-fonts dejavu-sans-mono-fonts

该命令会列出这些依赖软件的安装信息，如果未安装，则需要安装，命令如下

yuminstall xxx

三．安装包（全部）：

tar –xzvf  confuse-2.7.tar.gz

cd  ./confuse-2.7

./configure CFLAGS=-fPIC –disable-nls

make

make install

 安装rrdtool

tar –xzvf  rrdtool-1.4.9.tar.gz

cd  ./ rrdtool-1.4.9

./configure  --prefix=/usr/local/rrdtool

make

make install

安装cairo-devel和pango-devel包  pcre-devel

yum installcairo-devel pango-devel pcre-devel

四．安装（主节点）

安装apache（主节点）

tar –xzvf  httpd-2.2.23.tar.gz

 cd httpd-2.2.23/srclib

cd apr

  ./configure  --prefix=/usr/local/apr

 Make

 make install

cd ..

cd apr-util

./configure –prefix=/usr/local/apr-util –with-apr=/usr/local/apr

 make

 make install

cd ../../

  ./configure --prefix=/usr/local/apache2  --with-arp=/usr/local/apr --with-apr-util=/usr/local/apr-util --with-included-apr

  make

  make install

当安装完成后，访问http://ip  (我的ip为10.215.80.54，访问的就是http://10.215.80.54)，测试是否正常工作，该命令访问的是/usr/local/apache2/htdocs/index.html，如果正常，则可正常访问到该页面，否则会出访问错误信息。

安装php（主节点）

 tar –xavf php-5.4.10.tar.gz

cd php-5..4.10

 ./configure --prefix=/usr/local/php  --with-apxs2=/usr/local/apache2/bin/apxs  --with-mysql=mysqlnd

  make

  make test

  make install

安装完成后，要测试apache是否对php支持。

创建 /usr/local/apache2/htdocs/index.php

编辑并添加如下内如到文件

///////////////// index.php中添加的内容///////////

<?

Phpinfo()

?>

///////////////// 保存退出///////////

 

访问http://10.215.80.54/index/php，如果访问成功，则网页会显示有关php的信息，否则访问失败。

访问失败表示apache对php不支持，需要做如下修改：

1：find到libphp5.so，将其拷贝到 /usr/local/apache2/modules/ 目录下

2：打开 /usr/local/apache2/conf/httpd.conf文件，并添如下信息到其中

///////////////////httpd.conf文件添加内容///////////////////

<FilesMatch "\.php$">

  SetHandler application/x-httpd-php

</FilesMatch>

 

<FilesMatch "\.ph(p[2-6]?|tml)$">

  SetHandler application/x-httpd-php

</FilesMatch>

 

<FilesMatch "\.phps$">

  SetHandler application/x-httpd-php-source

</FilesMatch>

 

LoadModule php5_module modules/libphp5.so

 

<ifModule dir_module>

   DirectoryIndex index.html index.php

</ifModule>

///////////////////保存退出///////////////////

 

重启apache ：/usr/local/apache2/bin/apachectl restart             

重新访问并测试是否成功

 

注意：

软件全部安装完后，需要修改共享库配置信息

vim /etc/ld.so.conf

增加如下内容

/usr/local/lib

启动：ldconfig

 

五．安装ganglia(全部节点都要安装)

 tar –xzvf  ganglia-3.6.0.tar.gz

 cd ganglia-3.60

./configure --prefix=/usr/local/ganglia --with-gmetad（其余节点可省）   --enable-gexec --with-python=/usr/local    --with-librrd=/usr/bin

  Make

  make install

 

六、安装ganglia-web（仅主节点安装）

 tar -zvxf ganglia-web-3.5.10.tar.gz

 cp ganglia-web-3.5.10     /data/installFile/ganglia/   –rf

 cd/gangliaInstall/ganglia/ganglia-web-3.5.10

  cp conf_default.php conf.php

  vim conf.php

///////////////////////////修改conf.php的信息/////////////

 

#$conf['gweb_confdir'] ="/var/lib/ganglia-web";    //注释掉

$conf['gweb_confdir'] = "/data/installFile/ganglia/"; （web文件夹少了）

 

#$conf['gmetad_root'] ="/var/lib/ganglia";   //注释掉

$conf['gmetad_root'] = "/data/installFile";

 

////////////////////////保存退出//////////////////////////////////

 

 vimheader.php

//////////////////////修改header.php信息/////////////////

<?php

session_start();

ini_set('date.timezone', 'PRC');  //添加，-修改时区为本地时区

 

if (isset($_GET['date_only'])) {

  $d = date("r");

  echo $d;

  exit(0);

}

//////////////////////////保存退出//////////////////

 

cd /home /gangliaInstall/ganglia/ ganglia-web-3.5.10/dwoo

mkdir  cache

 chmod 777  cache

 mkdir compiled

 chmod 777  compiled

 

使用Apache发布ganglia-web日志（主节点）

编辑httpd.conf文件

Vim /usr/local/apache2/conf/httpd.conf

在文件中有<Directory  XXX>  </Directory>标签后添加如下内容

////////////////////////添加内容////////////////////////////

Alias /ganglia"/data/installFile/ganglia/"

<Directory"/data/installFile/ganglia/">

 

    AuthType Basic

    #Options None

    Options Indexes FollowSymLinks

    AllowOverride None

    Order allow,deny

    Allow from all

</Directory>

////////////////////////保存退出////////////////////////////

重启apache

/usr/local/apache2/bin/apachectl  restart

 

七．配置gmetad（主节点配置）

进入ganglia安装文件

cd ganglia-3.6.0

cp ./gmetad/gmetad.init  /etc/init.d/gmetad

cp ./gmetad/gmetad.conf  /usr/local/ganglia/etc

 

修改gmetad

vim /etc/init.d/gmetad

///////////////////////////////////////////////

GMETAD=/usr/local/ganglia/sbin/gmetad

//////////////////////////////////////////////////

 

修改gmetad.conf配置文件

vim  /usr/local/ganglia/etc/gmetad.conf

///////////////////////////////////////////////

data_source "Spark" bihdp05:8649

gridname"MyGrid"

setuid_username"root"（和gmond中一致）

xml_port 8651

interactive_port  8652

rrd_rootdir "/data/installFile/ganglia/rrds"（如果没有次文件夹，新建，所属用户root：root与上一致）

case_sensitive_hostnames 1

//////////////////////////////////////////////

service gmetad restart (重启gmetad)

 

八、配置gmond（全部节点）

进入ganglia源目录

cd ganglia-3.6.0

cp ./gmond/gmond.init  /etc/init.d/gmond

./gmond/gmond –t >/usr/local/ganglia/etc/gmond.conf（没有新建文件）

修改gmond配置

vim  /etc/init.d/gmond

////////////////////////////

GMOND=/usr/local/ganglia/sbin/gmond

//////////////////////////////

 

修改gmond.conf配置

vim  /usr/local/ganglia/etc/gmond.conf

/////////////////////////////////

globals {

  daemonize = yes

  setuid = yes

  user =root

  debug_level = 0

  max_udp_msg_len = 1472

  mute = no

  deaf = no

  allow_extra_data = yes

  host_dmax = 86400 /*secs. Expires(removes from web interface) hosts in 1 day */

  host_tmax = 20 /*secs */

  cleanup_threshold = 300 /*secs */

  gexec = no

  send_metadata_interval =30 /*secs */

 

}

cluster {

  name = "Spark"

  owner = "root"

  latlong = "unspecified"

  url = "unspecified"

}

host {

  location = "bihdp05"

}

（单播）

udp_send_channel {

# mcast_join = 239.2.11.71

 host=bihdp05 （主节点）

 port = 8649（主节点端口）

  ttl = 1

}

udp_recv_channel {

 # mcast_join = 239.2.11.71

  port = 8649

  #bind = 239.2.11.71

  retry_bind = true

  # buffer = 10485760

}

tcp_accept_channel {

  port = 8649

  # If you want to gzip XML output

  gzip_output = no

}

/////////////////////////////////////////

 

拷贝python脚本

mkdir /usr/local/ganglia/lib64/ganglia/python_modules

cp ./gmond/python_modules/*/*.py /usr/local/ganglia/python_modules

重启gmond   service gmond restart

 

测试：

当完成上面安装后，访问http://ip/ganglia （该处是你本人的IP地址），将会看到展示的监控信息

 

九．监控spark配置

由于Licene的限制，没有放到默认的build里面，如果需要使用，需要自己编译。在使用Maven编译Spark的时候，我们可以加上-Pspark-ganglia-lgpl选项来将Ganglia相关的类打包进spark-assembly-x.x.x-hadoopx.x.x.jar中，命令如下：

 

[iteblog@iteblogspark]$ ./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests　-Dhadoop.version=2.4.0-Pspark-ganglia-lgpl

 

复制metrics.properties.template   改名metrics.properties，添加如下（每个spark文件）：

 

*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink

*.sink.ganglia.host=bihdp05

*.sink.ganglia.port=8649

*.sink.ganglia.period=10

*.sink.ganglia.unit=seconds

*.sink.ganglia.ttl=1

*.sink.ganglia.mode=unicast

 

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource

worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource

driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource

executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource