hadoop 集群配置

Hadoop集群配置详解
by Flying Yan,2012.11.28
说明：
namenode系统是：fedora17
datanode系统是：ubuntu11.04 、12.04

1、配置静态IP
1.1ubuntu配置静态IP
暂时用图形界面配置的。
1.2fedora配置静态IP
2、编辑/etc/hosts
2.1对于fedora17






2.2对于ubuntu11.04













3、更改主机名
3.1对于fedora：
vi /etc/sysconfig/network
HOSTNAME=master








3.2对于ubuntu：
vi /etc/hostname






4、安装ssh及免密码登陆设置
4.1安装ssh
sudo apt-get install ssh或者sudo yum install ssh
4.1无密码登陆本机
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
直接回车后会在~/.ssh/中生成两个文件：id_dsa和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub追加到授权key里面（当前并没有authorized_keys文件）
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
完成后可以测试无密码访问本机。
ssh localhost hostname
执行这条命令后，如果设置成功，将会自动显示本机的hostname
4.2无密码登陆远程主机
下面以namenode登陆datanode1为例：
远程复制namenode的id_dsa.pub文件到datanode1的/home/user/目录：
scp ~/.ssh/id_dsa.pub datanode1:~/.ssh/
(datanode1即IP为：114.212.121.253的节点）
登陆114.212.121.253并执行如下命令，把namenode上的id_dsa.pub文件追加到datanode1的authorized_keys内。
cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
修改datanode1的authorized_keys权限，authorized_keys权限为600，其父目录和祖父目录应为755
chmod 600 authorized_keys
4.3关闭防火墙
(1)ubuntu
sudo ufw disable
(2)fedora
lokkit --disabled
(注意：这步非常重要。如果不关闭，会出现找不到datanode的问题）
验证：
重启namenode，在namenode上执行
ssh datanode1 hostname

5、安装jdk1.6及配置
下载对应版本的jdk（ jdk-6u37-linux-x64.bin），赋予可执行权限，然后执行。之后把jdk1.6-****的文件夹改名为：jdk1.6，并移动至/usr/local

配置环境变量vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.6
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin:/usr/local/hadoop/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/lib:$CLASSPATH

export HADOOP_HOME_WARN_SUPPRESS=1

其中红色部分是关于hadoop的配置

6、安装hadoop及配置
下载hadoop-1.0.4.tar.gz
解压，重命名为hadoop，并移动至/usr/local

注意：以下配置文件都在HADOOP_HOME/conf/目录下

vi hadoop-env.sh
在最后添加55、56行的内容




6.1hadoop配置之master (fedora17系统）

6.1.1配置master

vi master







6.1.2配置slave







6.1.3配置core-site.xml


6.1.4配置mapred-site.xml

6.1.5配置hdfs-site.xml


6.2hadoop配置之slave（ubuntu 11.04系统）

6.2.1配置master
vi master









6.2.2配置slave
vi slave
里面内容为空

6.2.3配置core-site.xml
6.2.4
配置hdfs-site.xml
6.2.5配置mapred-site.xml