hadoop集群管理之文件分发
来源:互联网 发布:双十一淘宝商家多发货 编辑:程序博客网 时间:2024/06/14 07:59
上一篇说了集群中怎样统一执行集群命令
http://blog.csdn.net/wangkai198911/article/category/7192845
这里主要讲一下在集群中,如何去分发相关的配置文件,配置文件、hosts、bashrc等配置项
在集群中只需配置单一节点即可(一般在namenode上做配置就可以了)。配置完成后,采用统
一分发的模式,让各个节点完成统一。
配置文件deplog.conf与统一执行命令中复用即可,可以根据需要在文件中继续添加tag。
下面主要还是看代码
if [ $# -lt 3 ]then echo 'Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag' echo 'Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile' exitfi
首先判断参数的传递情况,这里需要传递三个参数,分别是文件的来源路径,文件的目标路 径和服务器tag
if [ -f $confFile ]then if [ -f $src ] then for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $2}'` do scp $src $server":"${dest} done elif [ -d $src ] then for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $2}'` do scp -r $src $server":"${dest} done else echo "Error: No source file exist" fielse echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"fi
先判断文件或者路径是否存在,如果存在进行后续操作,通过scp将对应文件传输到对应tag服务器的
对应路径上面。
阅读全文
0 0
- hadoop集群管理之文件分发
- Hadoop集群文件分发工具file-dispatcher.sh
- hadoop集群管理之 SecondaryNameNode和NameNode
- hadoop集群管理之SecondaryNameNode与NameNode
- hadoop集群管理之统一执行
- Hadoop集群管理
- Hadoop集群管理
- Hadoop集群管理配置文件
- Hadoop集群管理命令
- Linux7 下Hadoop集群用户管理方案之五 安装Hadoop集群遇到的坑
- svn & puppet管理hadoop集群
- Hadoop集群管理与安全
- Hadoop - Ambari集群管理剖析
- Hadoop集群之HDFS
- hadoop集群之PID
- Hadoop之集群设置
- Hadoop高可用模式 集群搭建与管理之集群规划(二)
- Hadoop生态系统介绍【可视化管理hadoop集群】
- 辅助调试工具
- 时间累加(简)
- Java 正则表达式验证图片格式
- WIFI详解
- ADO.NET数据增删查改操作
- hadoop集群管理之文件分发
- 设计模式5-原型模式
- Git使用教程3-提交控制
- 环境变量的配置和myexlipse的破解
- Windows下Maven安装以及配置
- 快速搭建mybatis
- 小结 | C 单链表操作 (上)
- 241 Different Ways to Add Parentheses
- bzoj 3209: 花神的数论题