hadoop2.7.0-HA集群部署

1.Linux环境准备

此次使用了6台Openstack的Instance(centos6.5)来搭建Hadoop的集群,其中zookeeper来协调分布式管理(通俗:若某台核心机器若宕了，就让另一台上)
在6台机器上都进行如下操作(或者通过快照创建其余的instance)

1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系(这里使用的是Fixed_ip内网ip)
4.关闭防火墙(****重要****如你不觉得麻烦也可开放相应的端口)
5.ssh免登陆 
6.安装JDK，配置环境变量等

集群规划：

配置环境变量

export JAVA_HOME=/hadoop/jdk1.8.0_65export HADOOP_HOME=/hadoop/hadoop-2.7.0export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

ps:所有hadoop相关的程序都放在/hadoop下，包括JVM

2.配置hadoop集群

2.1解压

tar -zxvf hadoop-2.7.0.tar.gz -C /hadoop/

2.2配置HDFS

hadoop2.x所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下

2.2.1修改hadoo-env.sh

export JAVA_HOME=/hadoop/jdk1.8.0_65

2.2.2修改core-site.xml

<configuration><!-- 指定hdfs的nameservice为ns1 --><property><name>fs.defaultFS</name><value>hdfs://ns1</value></property><!-- 指定hadoop临时目录 --><property><name>hadoop.tmp.dir</name><value>/hadoop/hadoop-2.7.0/tmp</value></property><!-- 指定zookeeper地址 --><property><name>ha.zookeeper.quorum</name><value>instance04:2181,instance05:2181,instance06:2181</value></property></configuration>

2.2.3修改hdfs-site.xml

<configuration><!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 --><property><name>dfs.nameservices</name><value>ns1</value></property><!-- ns1下面有两个NameNode，分别是nn1，nn2 --><property><name>dfs.ha.namenodes.ns1</name><value>nn1,nn2</value></property><!-- nn1的RPC通信地址 --><property><name>dfs.namenode.rpc-address.ns1.nn1</name><value>instance01:9000</value></property><!-- nn1的http通信地址 --><property><name>dfs.namenode.http-address.ns1.nn1</name><value>instance01:50070</value></property><!-- nn2的RPC通信地址 --><property><name>dfs.namenode.rpc-address.ns1.nn2</name><value>instance02:9000</value></property><!-- nn2的http通信地址 --><property><name>dfs.namenode.http-address.ns1.nn2</name><value>instance02:50070</value></property><!-- 指定NameNode的元数据在JournalNode上的存放位置 --><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://instance04:8485;instance05:8485;instance06:8485/ns1</value></property><!-- 指定JournalNode在本地磁盘存放数据的位置 --><property><name>dfs.journalnode.edits.dir</name><value>/hadoop/hadoop-2.7.0/journal</value></property><!-- 开启NameNode失败自动切换 --><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><!-- 配置失败自动切换实现方式 --><property><name>dfs.client.failover.proxy.provider.ns1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--><property><name>dfs.ha.fencing.methods</name><value>sshfenceshell(/bin/true)</value></property><!-- 使用sshfence隔离机制时需要ssh免登陆 --><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property><!-- 配置sshfence隔离机制超时时间 --><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value></property></configuration>

2.2.4修改mapred-site.xml

<configuration><!-- 指定mr框架为yarn方式 --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

2.2.5修改yarn-site.xml

<configuration><!-- 指定resourcemanager地址 --><property><name>yarn.resourcemanager.hostname</name><value>instance03</value></property><!-- 指定nodemanager启动时加载server的方式为shuffle server --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

2.2.6修改slaves
slaves是指定子节点的位置，因为要在instance01上启动HDFS、在instance03启动yarn，所以instance01上的slaves文件指定的是datanode的位置，instance03上的slaves文件指定的是nodemanager的位置

instance04instance05instance06

2.2.7配置免密码登陆
#首先要配置instance01到instance02、instance03、instance04、instance05、instance06的免密码登陆
#在instance01上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点，包括自己

/usr/bin/ssh-copy-id  instance01/usr/bin/ssh-copy-id  instance02/usr/bin/ssh-copy-id  instance03/usr/bin/ssh-copy-id  instance04/usr/bin/ssh-copy-id  instance05/usr/bin/ssh-copy-id  instance06

#配置instance03到instance04、instance05、instance06的免密码登陆

#在instance03上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点

ssh-coyp-id instance04ssh-coyp-id instance05ssh-coyp-id instance06

#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置instance02到instance01的免登陆
在instance02上生产一对钥匙

ssh-keygen -t rsassh-coyp-id -i instance01

2.2.8将配置好的hadoop拷贝到其他节点

scp -r /hadoop/ instance02:/scp -r /hadoop/ instance03:/scp -r /hadoop/ root@instance04:/scp -r /hadoop/ root@instance05:/scp -r /hadoop/ root@instance06:/

3.配置zooekeeper

3.1解压 (先在instance04上操作)

tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop/

3.2修改配置

cd /hadoop/zookeeper-3.4.5/conf/cp zoo_sample.cfg zoo.cfgvim zoo.cfg修改：dataDir=/hadoop/zookeeper-3.4.5/tmp在最后添加：server.1=instance04:2888:3888server.2=instance05:2888:3888server.3=instance06:2888:3888保存退出然后创建一个tmp文件夹mkdir /hadoop/zookeeper-3.4.5/tmp再创建一个空文件touch /hadoop/zookeeper-3.4.5/tmp/myid最后向该文件写入IDecho 1 > /hadoop/zookeeper-3.4.5/tmp/myid

1.3将配置好的zookeeper拷贝到其他节点

scp -r /hadoop/zookeeper-3.4.5/ instance05:/hadoop/scp -r /hadoop/zookeeper-3.4.5/ instance06:/hadoop/

注意：修改instance05、instance06对应/instance/zookeeper-3.4.5/tmp/myid内容

instance05：

echo 2 > /hadoop/zookeeper-3.4.5/tmp/myid

instance06：

echo 3 > /hadoop/zookeeper-3.4.5/tmp/myid

4.启动hadoop和zookeeper

4.1启动zookeeper集群
分别在instance04、instance05、instance06上启动zk

cd /hadoop/zookeeper-3.4.5/bin/./zkServer.sh start

#查看状态：一个leader，两个follower

./zkServer.sh status

4.2启动journalnode (用来维护namenode保持其元数据，一台宕机，另一台自动上)

在instance01上启动所有journalnode，注意：是调用的hadoop-daemons.sh这个脚本，注意是复数s的那个脚本

cd /hadoop/hadoop-2.7.0sbin/hadoop-daemons.sh start journalnode

#运行jps命令检验，instance04、instance05、instance06上多了JournalNode进程


4.3格式化HDFS
#在instance01上执行命令:

hdfs namenode -format

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.7.0/tmp，然后将/hadoop/hadoop-2.7.0/tmp拷贝到instance02的/hadoop/hadoop-2.7.0/下。

scp -r tmp/ instance02:/hadoop/hadoop-2.7.0/

4.4格式化ZK(在instance01上执行即可)

hdfs zkfc -formatZK

4.5启动HDFS(在instance01上执行)

sbin/start-dfs.sh

4.6启动YARN
注意是在instance03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

sbin/start-yarn.sh

到此，hadoop2.7.0配置完毕，本应该可以统计浏览器访问:http://192.168.1.21:50070，但是因为我使用的centos是min版的，没有图像界面，但是使用wget是可以访问其ip和端口的。

因为hosts配置的为固定ip,使用外网的浮动ip来访问hadoop的http界面没有效果，等有时间会探索下如何解决这个问题

解决方法:在安全组中开发端口50070

所有的安装包都在: http://archive.apache.org/dist/