hadoop完全分布式

安装：hadoop版本为1.2.1

实验环境为三台虚拟机，一台master，两台slave

1、关闭防火墙：{

    centos为chkconfig iptables off（需要重启），不需要重启的是service iptables stop

}

2、修改hosts文件：vi /etc/hosts:{

    第一列为ip地址

    第二例为主机名

    第三列为主机别名

}注意：hadoop中主机名不能有下划线“_”否则后果很严重

3、修改主机名：vi /etc/sysconfig/network，将master改为hadoop-m，slave修改为hadoop-s1;hadoop-s2

4、添加用户：useradd grid

5、修改用户密码：passwd grid

6、配置ssh：{

    ssh-keygen -t rsa -f ~/.ssh/id_rsa

    cp id_rsa.pub authorized_keys

    scp authorized_keys grid@hadoop-s1:~/.ssh

    cat id_rsa.pub authorized_keys

    scp authorized_keys grid@hadoop-m:~/.ssh

    ping grid@hadoop_m

}

7、检查ssh是否配置成功：

8、将文件解压到家目录中：[grid@hadoop-m hadoop]$ tar -zxvf hadoop-1.2.1-bin.tar.gz 

9、修改hadoop-1.2.1文件夹的名字：[grid@hadoop-m ~]$ mv hadoop-1.2.1 hadoop

10、配置hadoop-env.sh，将java环境变量配置到Java_HOME上

[grid@hadoop-m conf]$ vi hadoop-env.sh 

11、修改core-site.xml，添加名称节点真实的ip：vi core-site.xml

如果是伪分布式，hadoop-m改为localhost

完全分布式模式：{

}

12、配置hdfs-site.xml 配置数据块存放位置和复制的个数：[grid@hadoop-m conf]$ vi hdfs-site.xml

13、配置mapred-site.xml 作业跟踪器：[grid@hadoop-m conf]$ vi mapred-site.xml

14、配置master：[grid@hadoop-m conf]$ vi masters 

15、配置slave：[grid@hadoop-m conf]$ vi slaves

16、复制节点到slave中：scp -r hadoop grid@hadoop-s2:~/

17、格式化：[grid@hadoop-m hadoop]$ bin/hadoop namenode -format

18、启动hadoop：bin/start-all.sh