hadoop集群批量快速安装
来源:互联网 发布:mac定制无瑕粉底液n18 编辑:程序博客网 时间:2024/06/07 05:13
今天是我生日,在博客里放送出2份非常实用的文档。hadoop、hbase批量安装和ganglia安装配置详解。首先第一篇。
hadoop批量安装前先将namenode,Hmaster机器安装完毕。然后准备以下文件
1、hadoop-0.20.2-CDH3B4.tar.gz
2、hbase-0.90.1-CDH3B4.tar.gz
3、hosts
4、profile
5、hbaseconf(这个是hbase中的conf文件夹的拷贝)
6、hadoopconf(这个是hadoop中conf文件夹的拷贝)\
将这些打包成cdh3beta4.tar.gz
以hadoop用户来运行脚本。
脚本一:作用是配置ssh免登陆
confSSH.sh
#!/bin/bash
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
for((i=100;i<115;i++))
do
scp ~/.ssh/id_dsa.pub hadoop@192.168.4.$i:~/
ssh 192.168.4.$i 'mkdir .ssh;
chmod 755 .ssh;
cat id_dsa.pub >>.ssh/authorized_keys;
chmod 644 .ssh/authorized_keys;'
done
脚本二:拷贝安装hadoop,hbase
installHadoop.sh
#!/bin/bash
for((i=102;i<115;i++))
do
scp /home/hadoop/cdh3beta4.tar.gz hadoop@192.168.4.$i:/home/hadoop/
ssh 192.168.4.$i 'tar zxvf cdh3beta4.tar.gz;
cd cdh3beta4;
tar zxzf hadoop-0.20.2-CDH3B4.tar.gz -C /home/hadoop;
tar zxvf hbase-0.90.1-CDH3B4.tar.gz -C /home/hadoop;
ln -s /home/hadoop/hadoop-0.20.2-CDH3B4 /home/hadoop/hadoop;
ln -s /home/hadoop/hbase-0.90.1-CDH3B4 /home/hadoop/hbase;
cp hadoopconf/* /home/hadoop/hadoop/conf/;
cp hbaseconf/* /home/hadoop/hadoop/conf/;'
done
脚本三:安装jdk1.6,配置环境变量,需要以root用户运行
#!bin/bash
for((i=102;i<115;i++))
do
#scp /etc/hosts root@192.168.4.$i:/etc/hosts
#scp /etc/profile root@192.168.4.$i:/etc/profile
ssh 192.168.4.$i 'cp /home/hadoop/cdh3beta4/profile /etc/profile;
source /etc/profile;'
#./jdk-6u24-linux-x64-64bit-rpm.bin
#echo -e "/n"
#rm /usr/lib/jdk
#ln /usr/java/jdk1.6.0_24 /usr/lib/jdk
#cp /home/hadoop/cdh3beta4/hosts /etc/hosts
done
我是采用cdh3版本来完成的批量安装,第一个脚本执行时需要每台机器输入密码,后两个脚本就不需要了,在大量安装hadoop节点时应该很实用。
- hadoop集群批量快速安装
- hadoop,zookeeper, hbase集群的批量安装
- 使用 Shell 脚本进行 Hadoop Spark 集群的批量安装
- 快速启动hadoop集群
- 集群批量安装jdk
- Hadoop集群安装spark集群
- [Hadoop学习]Hadoop集群安装
- docker快速搭建hadoop集群
- hadoop集群 安装步骤
- Hadoop集群安装
- Hadoop集群安装
- Hadoop集群安装 (1)
- Hadoop集群安装设置
- Hadoop集群安装
- Hadoop集群安装
- hadoop安装集群完毕
- hadoop集群安装
- Hadoop集群安装
- JavaScript创建对象方式研究
- 乌龟和兔子(牛顿的逻辑结构)
- Java内存分配、管理小结
- 常用正则表达式
- VS2010.net MFC Class Wizard - Error On overriding function - 错误 问题
- hadoop集群批量快速安装
- ASP.NET验证控件详解
- Windows 系统目录简写
- 大学生活
- RTX系统下设备的驱动开发
- 股票分钟走势图
- memcached 可以存放resultset吗?
- Factory Method
- 图片生成指定大小的略缩图(只支持JPG)