hadoop2.x高可用集群的搭建

hadoop2.0集群的搭建

使用四台虚拟物理机搭建集群

• 集群各角色的分配
  

• 搭zookeeper集群

  解压    解压zookeeper包修改文件名    修改zookeeper的配置文件，将其重命名修改文件    修改/etc/profile，加上zookeeper的bin目录设置路径    将dataDir目录改为自己规划的目录追加    在文件最后加上zookeeper体系三个节点的ip:2888:3888创建    手动创建zk，并创建文件myid，在不同节点上用不同的数字命名开启    开启zookeeper进程        zkServer.sh start        查看进程状态            zkServer.status

• 修改hadoop配置文件

修改hdfs-site.xml

        命名nameservices        命名两个NameNode的名称        分别指定两个NameNode的rpc地址-》主机名：8020        分别指定两个NameNode的http地址-》主机名：50070，用于浏览器查看集群状态        配置edits log的地址，协议是qjournal，jnn分布的主机名：8485，加上一个路径，用于区分不同集群的edits log文件        配置本地edits log文件存放地址        dfs.client.failover.proxy.provider.mycluster        dfs.ha.fencing.methods        dfs.ha.fencing.ssh.private-key-files        开启自动切换主备开关

配置core-site.xml

        配置defaultFS，通过它可以找到NameNode的位置        切换hadoop临时文件存放目录        设置zookeeper的启动-》节点名：2181

• 开启集群

  启动zookeeper启动jn    hadoop-daemon.sh start journalnode在第一台NN上    格式化        hdfs namenode –format    启动NameNode        hadoop-daemon.sh start namenode在第二台NN上，同步第一台NN的信息    hdfs namenode  -bootstrapStandby进入zookeeper交互    zkCli.sh格式化zkfc    hdfs zkfc -formatZK启动dfs    stop-dfs.sh && start-dfs.sh启动zkfc    hadoop-daemon.sh start zkfc

• 集群检查

  通过jps命令查看各个节点上的服务进程是否正常启动通过web页面访问相应的ip和端口，可以观察到node01为active状态，node02位standby状态