Hadoop配置文件同步脚本

来源:互联网 发布:算法爱好者 公众号 编辑:程序博客网 时间:2024/05/20 18:16

同步Hadoop的配置文件,总是scp,这很麻烦,现在写了一个同步脚本;

这个脚本会先备份远程服务器的配置文件,然后再同步;

如果同步的次数多了,可以按照日志删除配置文件比如:

find . -name '*20150604*' | xargs rm -f


脚本内容如下:

#!/bin/bash
##用于同步配置文件
##配置文件路径
HADOOP_ETC=/home/hadoop/hadoop-2.7.0/etc/hadoop
##需要同步的文件
ETC_FILES="core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml mapred-env.sh hadoop-env.sh"
##需要同步的主机(如果没有hosts的主机名映射,可以填ip)
HOSTS="Hadoop202 Hadoop203"
OP_DATE=$(date +%Y%m%d_%H%M%S)
echo "配置文件开始同步"
for H in $HOSTS;do
echo "##Sycn for $H##"
for F in $ETC_FILES;do
echo "backup and scp..."
ssh hadoop@$H cp $HADOOP_ETC/$F $HADOOP_ETC/${F}_${OP_DATE}
scp $HADOOP_ETC/$F hadoop@$H:$HADOOP_ETC
done
done



0 0