hadoop 集群安装（二） HA部署

        继上篇博客《Hadoop安装（一）zookeeper集群安装》后，我们已经搭建了hadoop所需要的免密码通信环境，以及高可用zookeeper集群，下面进入hadoop的高可用安装部署：

      1. 下载解压hadoop文件 ：

      tar -zxvf hadoop-2.7.4.tar.gz

      2. 配置hadoop-2.7.4/etc/hadoop/core-site.xml

<configuration>  <property>        <name>fs.defaultFS</name><!-- 用来指定hdfs的namenode名称-->        <value>hdfs://mycluster</value>   </property>  <property><!-- 用来指定hadoop运行时文件产生目录-->        <name>hadoop.tmp.dir</name>        <value>/srv/hadoop-2.7.4/tmp</value>  </property> <property><!-- 指定zookeeper地址-->   <name>ha.zookeeper.quorum</name>   <value>h1:2181,h2:2181,h3:2181</value> </property></configuration>

     3. 配置hdfs-site.xml 

<configuration><!--nameNodeService与core-site保持一致--><property>  <name>dfs.nameservices</name>  <value>mycluster</value></property><property><!--配置两个nameNode节点-->  <name>dfs.ha.namenodes.mycluster</name>  <value>nn1,nn2</value></property><property><!-- 配置h1的RPC通信地址-->  <name>dfs.namenode.rpc-address.mycluster.nn1</name>  <value>h1:9000</value></property><property>  <name>dfs.namenode.rpc-address.mycluster.nn2</name>  <value>h2:9000</value></property><property><!-- 配置h1的http通信地址-->  <name>dfs.namenode.http-address.mycluster.nn1</name>  <value>h1:50070</value></property><property>  <name>dfs.namenode.http-address.mycluster.nn2</name>  <value>h2:50070</value></property><property><!-- 指定nameNode的元数据在JournalNode上的存放位置，这样nameNode2可以从Jn集群中获得最新的nameNode信息-->  <name>dfs.namenode.shared.edits.dir</name>  <value>qjournal://h2:8485;h3:8485;h4:8485/mycluster</value></property><property><!-- 指定journal的存放位置 -->  <name>dfs.journalnode.edits.dir</name>  <value>/srv/hadoop-2.7.4/journal</value></property><!-- 配置隔离机制 --><property>  <name>dfs.ha.fencing.methods</name>  <value>sshfence</value></property><!-- ssh 登录秘钥坐在位置 --><property>  <name>dfs.ha.fencing.ssh.private-key-files</name>  <value>/root/.ssh/id_dsa</value></property><!-- nameNode故障时自动切换--><property>   <name>dfs.ha.automatic-failover.enabled</name>   <value>true</value> </property><!-- 配置切换实现方式--><property>  <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property>    <name>dfs.webhdfs.enabled</name>    <value>true</value></property><!-- 配置hdfs的操作权限,false表示任何人都有权限 --><property><name>dfs.permissions.enabled</name><value>true</value></property><property><name>dfs.namenode.acls.enabled</name><value>false</value></property><property>  <name>dfs.permissions.superusergroup</name>  <value>hdfs</value></property><property>  <name>dfs.block.access.token.enable</name>  <value>true</value></property><!--配置分片的数量-->    <property>        <name>dfs.replication</name>        <value>3</value>    </property><property><name>dfs.datanode.data.dir</name><value>/srv/hadoop-2.7.4/tmp/datanode</value></property><!--配置nameNode数据存放位置，可以不配置，默认和core-site.xml里面配置的hadoop.tmp.dir路径--><property><name>dfs.namenode.name.dir</name><value>/srv/hadoop-2.7.4/tmp/namenode</value></property>

      4. 配置mapred-site.xml 文件

<!-- mapReduce 在yarn上运行--><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

      

      5. 配置 yarn-site.xml文件

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name>     <value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>h1</value></property><property><name>yarn.resourcemanager.ha.enabled</name><value>true</value></property>  <!--指定两个resourcemanager的名称--><property><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value></property><!--配置rm1，rm2的主机--><property><name>yarn.resourcemanager.hostname.rm1</name><value>h1</value></property><property><name>yarn.resourcemanager.hostname.rm2</name><value>h2</value></property><!--开启yarn恢复机制--><property><name>yarn.resourcemanager.recovery.enabled</name><value>true</value></property><!--执行rm恢复机制实现类--><property><name>yarn.resourcemanager.store.class</name><value> org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore </value></property><!--配置zookeeper的地址--><property><name>yarn.resourcemanager.zk-address</name><value>h1:2181,h2:2181,h3:2181</value><description>For multiple zk services, separate them with comma</description></property><!--指定YARN HA的名称--><property><name>yarn.resourcemanager.cluster-id</name><value>yarn-ha</value></property></configuration>

       6.   配置slaves文件

        h2
        h3
        h4

       

       7.  配置hadoop的环境变量vim /etc/profile

        export HADOOP_HOME=/srv/hadoop-2.7.4
        export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

       8. 每台机器执行source /etc/profile   

   首次启动命令

1、首先启动各个节点的Zookeeper，在各个节点上执行以下命令：

   bin/zkServer.sh start1

2、在某一个namenode节点执行如下命令，创建命名空间

hdfs zkfc -formatZK1

3、在每个journalnode节点用如下命令启动journalnode

sbin/hadoop-daemon.sh start journalnode1

4、在主namenode节点用格式化namenode和journalnode目录

hdfs namenode -format ns1

5、在主namenode节点启动namenode进程

sbin/hadoop-daemon.sh start namenode1

6、在备namenode节点执行第一行命令，这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来，并且这个命令不会把journalnode目录再格式化了！然后用第二个命令启动备namenode进程！

hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode12

7、在两个namenode节点都执行以下命令

sbin/hadoop-daemon.sh start zkfc1

8、在所有datanode节点都执行以下命令启动datanode

sbin/hadoop-daemon.sh start datanode1

日常启停命令

sbin/start-dfs.sh
sbin/stop-dfs.sh12    

      hadoop至此安装完毕！

参考文章：

         http://blog.csdn.net/trigl/article/details/55101826

         http://blog.csdn.net/trigl/article/details/52401847