hadoop集群hdfs使用情况统计(邮件)

来源:互联网 发布:云上贵州大数据公司 编辑:程序博客网 时间:2024/06/07 07:09
1,脚本编辑如下:
#!/bin/bash
function GetHome #
{
PRG="$0"
## echo $PRG
  else
}

APP_HOME=`GetHome`
cd $APP_HOME
spaceLog=$APP_HOME/logs/spaceLog.log
rptime=`date "+%Y-%m-%d %H:%M:%S"`
echo "日期:$rptime" > $spaceLog
#hadoop dfsadmin -report|awk '$0 ~/^DFS Used|^DFS Remaining|^Present Capacity|-------|Hostname:|^$/ {print $0}' >> $spaceLog
#content=`ssh namenode1 hadoop dfsadmin -report|awk '$0 ~/^DFS Used|^DFS Remaining|^Present Capacity|-------|Hostname:|^$/ {print $0}'` 
#export HADOOP_HOME=/opt/hadoop/
export PATH=/usr/local/jdk1.7.0_51/bin:/usr/lib64/qt-3.3/bin:/usr/local/jdk1.7.0_51/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/local/jdk1.7.0_51/bin:/opt/hadoop/bin:/opt/hadoop/bin:/opt/hive/hive-0.10.0-cdh4.5.0/bin:/opt/sqoop/bin:/usr/local/mysql/bin:/usr/local/apache-maven-3.2.1/bin:/home/fone/bin:/usr/local/jdk1.7.0_51/bin:/opt/hadoop/bin
content=`hadoop dfsadmin -report|awk '$0 ~/^DFS Used|^DFS Remaining|^Present Capacity|-------|Hostname:|^$/ {print $0}'`
echo "$content" >> $spaceLog
sed -i 's/Hostname/主机名/g' $spaceLog
sed -i 's/Present Capacity/集群中hdfs总容量/g' $spaceLog
sed -i 's/DFS Remaining/未使用/g' $spaceLog
sed -i 's/DFS Used/已使用/g' $spaceLog
RECEIVERS="cyxinda@163.com 51524536@qq.com"
export LANG=zh_CN.UTF-8
mailx -s "the usage of hdfs.." $RECEIVERS < $spaceLog -- -f mon.tom-ora@fone.net.cn
> $spaceLog



2:发出邮件如下:
日期:2014-07-24 10:44:57集群中hdfs总容量: 64794155166309 (58.93 TB)未使用: 19718267957248 (17.93 TB)已使用: 45075887209061 (41.00 TB)已使用%: 69.57%-------------------------------------------------主机名: datanode5已使用: 9045726568687 (8.23 TB)未使用: 3910403710976 (3.56 TB)已使用%: 65.63%未使用%: 28.37%主机名: datanode6已使用: 8951296760826 (8.14 TB)未使用: 3892333912064 (3.54 TB)已使用%: 64.94%未使用%: 28.24%主机名: datanode7已使用: 9116028252817 (8.29 TB)未使用: 3889245736960 (3.54 TB)已使用%: 66.14%未使用%: 28.22%主机名: datanode4已使用: 9072893591882 (8.25 TB)未使用: 3920266530816 (3.57 TB)已使用%: 65.83%未使用%: 28.44%主机名: datanode1已使用: 8889942034849 (8.09 TB)未使用: 4106018066432 (3.73 TB)已使用%: 64.50%未使用%: 29.79%