hadoop分布式安装

1.hadoop的分布式安装

1.1 设置ip地址

执行命令 service network restart
验证: ifconfig

1.2 关闭防火墙

执行命令 service iptables stop
验证: service iptables status

1.3 关闭防火墙的自动运行

执行命令 chkconfig iptables off
验证: chkconfig --list | grep iptables

1.4 设置主机名

执行命令 (1)hostname hadoop01
(2)vi /etc/sysconfig/network

1.5 ip与hostname绑定

执行命令 vi /etc/hosts
验证: ping hadoop01

1.6 设置ssh免密码登陆

执行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证： ssh hadoop01

1.7 设置主节点到受控节点的免密（或者集群之间两两之间免密登录）

ssh-copy-id -i  hadoop02
ssh-copy-id -i  hadoop03
另两两之间免密登录，复制到集群其他节点：
scp /root/.ssh/authorized_keys   hadoop01:/root/.ssh/

1.8 安装jdk

执行命令 (1)cd /usr/local
(2)tar -zxvf jdk-8u111-linux-x64.tar.gz 
(3)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk1.8.0_111
export PATH=.:$JAVA_HOME/bin:$PATH
(4)source /etc/profile
验证: java -version

1.9 安装hadoop

执行命令 (1)tar -zxvf hadoop-2.7.2.tar.gz
(2)vi /etc/profile 增加内容如下:
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
(3)source /etc/profile
(4)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
(5)hadoop namenode -format
(6)start-all.sh
验证: (1)执行命令jps 如果看到5个新的java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
(2)在浏览器查看，http://hadoop01:50070  http://hadoop01:50030  

2.0 启动时没有NameNode的可能原因:

(1)没有格式化
(2)环境变量设置错误
(3)ip与hostname绑定失败