hadoop(十一) - hadoop各版本集群环境搭建

一. hadoop1.0集群搭建：

1. 启动Linux，选择I copy it（选择move是mac地址不变，选择copy，会新产生一mac地址）

2. 配置Linux环境
2.1 执行ifconfig命令发现，可用的网卡是eth1  HWaddr <新的MAC地址>

2.2 将eth1的新的mac地址复制下来，替换原来eth0里旧的的mac地址
      vim /etc/sysconfig/network-scripts/ifcfg-eth0
      HWADDR="<旧的mac地址>"  -->  "<新的mac地址>"
2.3 find /etc -name "*net.rules" 
      vim /etc/udev/rules.d/70-persistent-net.rule
      把原来的eth0的那行删掉，再把eth1这个字符串改成eth0

2.4 修改主机名

2.5 修改主机名和IP的映射关系

2.6 关闭防火墙

2.7 关闭linux的图形界面，以命令行的方式启动
      vim /etc/inittab
      id:3:initdefault:    
2.8 reboot

3. 安装jdk(详情看安装伪分布式笔记)
    将安装好的jdk通过scp的方式拷贝到其他节点
    scp -r /usr/java/ hadoop02:/usr/
    scp -r /usr/java/ hadoop03:/usr/

4. 安装配置hadoop集群
    4.1 上传hadoop压缩包

    4.2 解压

    4.3 配置hadoop（需要修改6个配置文件）
          第一个：hadoop-env.sh 
          export JAVA_HOME=/usr/local/jdk1.6.0_45

          第二个：core-site.xml

<!-- 指定HDFS的namenode的通信地址 --><property><name>fs.default.name</name><value>hdfs://hadoop01:9000</value></property><!-- 指定hadoop运行时产生文件的存放目录 --><property><name>hadoop.tmp.dir</name><value>/cloud/hadoop-1.1.2/tmp</value></property>

           第三个：hdfs-site.xml

<!-- 配置HDFS副本的数量 --><property><name>dfs.replication</name><value>3</value></property>

           第四个：mapred-site.xml

<!-- 指定jobtracker地址 --><property><name>mapred.job.tracker</name><value>hadoop01:9001</value></property>

            第五个：masters(指定secondarynamenode地址)
           hadoop01

           第六个：slaves
           hadoop02
           hadoop03

    4.4 将配置好的hadoop拷贝到其他节点
         scp -r /cloud/ hadoop02:/
         scp -r /cloud/ hadoop03:/

    4.5 配置ssh免登
         是hadoop01到hadoop02、hadoop03的免登录
         ssh-keygen -t rsa（在hadoop01上生成即可）

         ssh-copy-id -i hadoop01
         ssh-copy-id -i hadoop02
         ssh-copy-id -i hadoop03

    4.6 拷贝/etc/profile到其他节点
         scp /etc/profile hadoop02:/etc/
         scp /etc/profile hadoop03:/etc/

    4.7 仅在hadoop01上格式化hadoop
         hadoop namenode -format

5. 动态添加一台节点 hadoop04 192.168.1.204
    5.1 通过克隆方式添加一台Linux
    5.2 修改主机名
    5.3 使用root用户登录，右键点击右上角网络，选择Edit connections，修改Auto eth1，设置为manual方式，添加IP，NETMASK，GAYEWAY,再点apply

    5.4 重启机器：reboot

    5.5 把namenode的有关配置文件复制到该节点

    5.6 修改masters和slaves文件，增加该节点

    5.7 设置ssh免密码进出该节点

    5.8 分别启动datanode和tasktracker
         hadoop-daemon.sh start datanode
         hadoop-daemon.sh start tasktracker
    5.9 在hadoop01上即namenode所在节点上运行命令刷新
         hadoop dfsadmin -refreshNodes

6. hadoop集群管理相关命令
hadoop安全模式：Safe mode is ON（可以读取文件，但是不可以向HDFS写入文件）
hadoop dfsadmin -safemode enter(进入安装器模式) / leave(离开安全模式) / get(获取当前状态) / wait(竟然等待状态)
hadoop mrsadmin -safemode enter / leave / get / wait 

7. 将namenode，jobtracker和secondarynamenode分开部署
主机名 运行的进程
hadoop01 namenode
hadoop02 jobtracker、secondarynamenode
hadoop03 datanode、tasktracker
hadoop04 datanode、tasktracker

在hadoop01上修改masters，指定secondarynamenode，修改成hadoop02
再修改slaves文件，hadoop03、hadoop04

hadoop02上，修改mapred-site.xml，将mapred.job.tracker的值改成hadoop02:9001
再修改slaves文件，hadoop03、hadoop04
设置hadoop02到hadoop03、hadoop04的免登陆
ssh-keygen -t rsa
ssh-copy-id -i hadoop03
ssh-copy-id -i hadoop04

在hadoop03上，修改mapred-site.xml，将mapred.job.tracker的值改成hadoop02:9001

在hadoop04上，修改mapred-site.xml，将mapred.job.tracker的值改成hadoop02:9001

二. hadoop2.4.1集群搭建：

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA

注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）

1. 修改Linux主机名
2. 修改IP
3. 修改主机名和IP的映射关系
    ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
    /etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4. 关闭防火墙
5. ssh免登陆 
6. 安装JDK，配置环境变量等

集群规划：
主机名 IP 安装的软件 运行的进程

itcast01 192.168.1.201jdk、hadoopNameNode、DFSZKFailoverController(zkfc)itcast02 192.168.1.202jdk、hadoopNameNode、DFSZKFailoverController(zkfc)itcast03 192.168.1.203jdk、hadoopResourceManageritcast04 192.168.1.204jdk、hadoopResourceManageritcast05 192.168.1.205jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMainitcast06 192.168.1.206jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMainitcast07 192.168.1.207jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

说明：
1. 在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态

2. hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
2.1. 安装配置zooekeeper集群（在itcast05上）
2.1.1 解压 tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/
2.1.2 修改配置

      cd /itcast/zookeeper-3.4.5/conf/

      cp zoo_sample.cfg zoo.cfg
      vim zoo.cfg
      修改：dataDir=/itcast/zookeeper-3.4.5/tmp
      在最后添加：
      server.1=itcast05:2888:3888
      server.2=itcast06:2888:3888
      server.3=itcast07:2888:3888
      保存退出
      然后创建一个tmp文件夹
      mkdir /itcast/zookeeper-3.4.5/tmp
      再创建一个空文件
      touch /itcast/zookeeper-3.4.5/tmp/myid
      最后向该文件写入ID
      echo 1 > /itcast/zookeeper-3.4.5/tmp/myid

2.1.3 将配置好的zookeeper拷贝到其他节点(首先分别在itcast06、itcast07根目录下创建一个itcast目录：mkdir /itcast)
      scp -r /itcast/zookeeper-3.4.5/ itcast06:/itcast/
      scp -r /itcast/zookeeper-3.4.5/ itcast07:/itcast/

      注意：修改itcast06、itcast07对应/itcast/zookeeper-3.4.5/tmp/myid内容
      itcast06：echo 2 > /itcast/zookeeper-3.4.5/tmp/myid
      itcast07：echo 3 > /itcast/zookeeper-3.4.5/tmp/myid

3. 安装配置hadoop集群（在itcast01上操作）
3.1 解压
     tar -zxvf hadoop-2.4.1.tar.gz -C /itcast/
3.2 配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
      #将hadoop添加到环境变量中
      vim /etc/profile
      export JAVA_HOME=/usr/java/jdk1.7.0_55
      export HADOOP_HOME=/itcast/hadoop-2.4.1
      export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

      #hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
      cd /itcast/hadoop-2.4.1/etc/hadoop

      3.2.1 修改hadoo-env.sh
             export JAVA_HOME=/usr/java/jdk1.7.0_55

      3.2.2 修改core-site.xml

<configuration><!-- 指定hdfs的nameservice为ns1 --><property><name>fs.defaultFS</name><value>hdfs://ns1</value></property><!-- 指定hadoop临时目录 --><property><name>hadoop.tmp.dir</name><value>/itcast/hadoop-2.4.1/tmp</value></property><!-- 指定zookeeper地址 --><property><name>ha.zookeeper.quorum</name><value>itcast05:2181,itcast06:2181,itcast07:2181</value></property></configuration>

      3.2.3 修改hdfs-site.xml

<configuration><!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 --><property><name>dfs.nameservices</name><value>ns1</value></property><!-- ns1下面有两个NameNode，分别是nn1，nn2 --><property><name>dfs.ha.namenodes.ns1</name><value>nn1,nn2</value></property><!-- nn1的RPC通信地址 --><property><name>dfs.namenode.rpc-address.ns1.nn1</name><value>itcast01:9000</value></property><!-- nn1的http通信地址 --><property><name>dfs.namenode.http-address.ns1.nn1</name><value>itcast01:50070</value></property><!-- nn2的RPC通信地址 --><property><name>dfs.namenode.rpc-address.ns1.nn2</name><value>itcast02:9000</value></property><!-- nn2的http通信地址 --><property><name>dfs.namenode.http-address.ns1.nn2</name><value>itcast02:50070</value></property><!-- 指定NameNode的元数据在JournalNode上的存放位置 --><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://itcast05:8485;itcast06:8485;itcast07:8485/ns1</value></property><!-- 指定JournalNode在本地磁盘存放数据的位置 --><property><name>dfs.journalnode.edits.dir</name><value>/itcast/hadoop-2.4.1/journal</value></property><!-- 开启NameNode失败自动切换 --><property><name>dfs.ha.automatic-failover.enabled</name><value>true</value></property><!-- 配置失败自动切换实现方式 --><property><name>dfs.client.failover.proxy.provider.ns1</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--><property><name>dfs.ha.fencing.methods</name><value>sshfenceshell(/bin/true)</value></property><!-- 使用sshfence隔离机制时需要ssh免登陆 --><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/home/hadoop/.ssh/id_rsa</value></property><!-- 配置sshfence隔离机制超时时间 --><property><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value></property></configuration>

     3.2.4 修改mapred-site.xml

<configuration><!-- 指定mr框架为yarn方式 --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

      3.2.5 修改yarn-site.xml

<configuration><!-- 开启RM高可靠 --><property>  <name>yarn.resourcemanager.ha.enabled</name>  <value>true</value></property><!-- 指定RM的cluster id --><property>  <name>yarn.resourcemanager.cluster-id</name>  <value>yrc</value></property><!-- 指定RM的名字 --><property>  <name>yarn.resourcemanager.ha.rm-ids</name>  <value>rm1,rm2</value></property><!-- 分别指定RM的地址 --><property>  <name>yarn.resourcemanager.hostname.rm1</name>  <value>itcast03</value></property><property>  <name>yarn.resourcemanager.hostname.rm2</name>  <value>itcast04</value></property><!-- 指定zk集群地址 --><property>  <name>yarn.resourcemanager.zk-address</name>  <value>itcast05:2181,itcast06:2181,itcast07:2181</value></property><property>  <name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value></property></configuration>

      3.2.6 修改slaves(slaves是指定子节点的位置，因为要在itcast01上启动HDFS、在itcast03启动yarn，所以itcast01上的slaves文件指定的是datanode的位置

              itcast03上的slaves文件指定的是nodemanager的位置)

              itcast05

              itcast06

              itcast07

      3.2.7 配置免密码登陆
             #首先要配置itcast01到itcast02、itcast03、itcast04、itcast05、itcast06、itcast07的免密码登陆
             #在itcast01上生产一对钥匙
             ssh-keygen -t rsa
             #将公钥拷贝到其他节点，包括自己
             ssh-coyp-id itcast01
             ssh-coyp-id itcast02
             ssh-coyp-id itcast03
             ssh-coyp-id itcast04
             ssh-coyp-id itcast05
             ssh-coyp-id itcast06
             ssh-coyp-id itcast07
             #配置itcast03到itcast04、itcast05、itcast06、itcast07的免密码登陆
             #在itcast03上生产一对钥匙
             ssh-keygen -t rsa  
             #将公钥拷贝到其他节点
             ssh-coyp-id itcast04
             ssh-coyp-id itcast05
             ssh-coyp-id itcast06
             ssh-coyp-id itcast07
             #注意：两个namenode之间要配置ssh免密码登陆，别忘了配置itcast02到itcast01的免登陆
             在itcast02上生产一对钥匙
             ssh-keygen -t rsa
             ssh-coyp-id -i itcast01

3.3 将配置好的hadoop拷贝到其他节点
     scp -r /itcast/ itcast02:/
     scp -r /itcast/ itcast03:/
     scp -r /itcast/hadoop-2.4.1/ root@itcast04:/itcast/
     scp -r /itcast/hadoop-2.4.1/ root@itcast05:/itcast/
     scp -r /itcast/hadoop-2.4.1/ root@itcast06:/itcast/
     scp -r /itcast/hadoop-2.4.1/ root@itcast07:/itcast/

     ###注意：严格按照下面的步骤

3.4 启动zookeeper集群（分别在itcast05、itcast06、tcast07上启动zk）
     cd /itcast/zookeeper-3.4.5/bin/
     ./zkServer.sh start
     #查看状态：一个leader，两个follower
     ./zkServer.sh status

3.5 启动journalnode（分别在在itcast05、itcast06、tcast07上执行）
     cd /itcast/hadoop-2.4.1
     sbin/hadoop-daemon.sh start journalnode
     #运行jps命令检验，itcast05、itcast06、itcast07上多了JournalNode进程

3.6 格式化HDFS
     #在itcast01上执行命令:
     hdfs namenode -format

     #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/itcast/hadoop-2.4.1/tmp，

     然后将/itcast/hadoop-2.4.1/tmp拷贝到itcast02的/itcast/hadoop-2.4.1/下。

     scp -r tmp/ itcast02:/itcast/hadoop-2.4.1/

3.7 格式化ZK(在itcast01上执行即可)
     hdfs zkfc -formatZK

3.8 启动HDFS(在itcast01上执行)
     sbin/start-dfs.sh

3.9 启动YARN(#####注意#####：是在itcast03上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，

       因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

       sbin/start-yarn.sh

       到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
       http://192.168.1.201:50070
       NameNode 'itcast01:9000' (active)
       http://192.168.1.202:50070
       NameNode 'itcast02:9000' (standby)

       验证HDFS HA
       首先向hdfs上传一个文件
       hadoop fs -put /etc/profile /profile
       hadoop fs -ls /
       然后再kill掉active的NameNode
       kill -9 <pid of NN>
       通过浏览器访问：http://192.168.1.202:50070
       NameNode 'itcast02:9000' (active)
       这个时候itcast02上的NameNode变成了active
       在执行命令：
       hadoop fs -ls /
       -rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
       刚才上传的文件依然存在！！！
       手动启动那个挂掉的NameNode
       sbin/hadoop-daemon.sh start namenode
       通过浏览器访问：http://192.168.1.201:50070
       NameNode 'itcast01:9000' (standby)

       验证YARN：
       运行一下hadoop提供的demo中的WordCount程序：
       hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out

       OK，大功告成！！！