Hadoop+yarn搭建

多机版生产环境搭建(HDFS+yarn)


1.准备四台linux主机
 
2.配置每台虚拟机网卡eth0
    [root@100 /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0 
    DEVICE=eth0
    HWADDR=00:0C:29:7D:83:D6
    TYPE=Ethernet
    UUID=7cdb9398-f9ef-46f0-b29a-ad2e372a71ec
    ONBOOT=yes
    NM_CONTROLLED=none
    BOOTPROTO=none
    IPADDR=192.168.17.100
    NETMASK=255.255.255.0


3.修改／etc/hosts文件并修改主机名
    [root@100 /]# vim /etc/hosts
    192.168.17.100 NameNode1
    192.168.17.101 NameNode2
    192.168.17.102 DataNode1
    192.168.17.103 DataNode2


    [root@100 /]# vim /etc/sysconfig/network
    NETWORKING=yes
    HOSTNAME=NameNode1


4.关闭防火墙
    service iptables stop 
    chkconfig iptables off


5.关闭selinux
    [root@100 桌面]# cat /etc/selinux/config 
    # This file controls the state of SELinux on the system.
    # SELINUX= can take one of these three values:
    #     enforcing - SELinux security policy is enforced.
    #     permissive - SELinux prints warnings instead of enforcing.
    #     disabled - No SELinux policy is loaded.
    SELINUX=disabled
    # SELINUXTYPE= can take one of these two values:
    #     targeted - Targeted processes are protected,
    #     mls - Multi Level Security protection.
    SELINUXTYPE=targeted 


6.配置java环境
      首先下载tar包 
        http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
      检查并卸载OpenJDK
        第一步检查系统是否自带了OpenJDK以及相关安装包，如果有的话则应先将其卸载。 
        检查命令：
        java -version
        rpm -qa | grep java
        如果发现有安装好的OpenJDK以及安装包的话那么首先依次执行卸载。 
        卸载命令：eduler
        rpm -e – -nodeps tzdata-java-2012c-1.el6.noarch
        rpm -e – -nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.x86_64
        直接复制上面的命令到xshell会出错，务必注意–nodeps前的两个横杠，注意自行修改。
     解压安装
        将安装文件上传到linux服务器后，进入到该目录执行解压安装：
        tar -zxvf jdk-7u75-linux-x64.tar.gz 
        解压完成后创建一个新的java目录并将刚刚解压的jdk目录移动到我们创建的目录：
        mkdir /java
        mv ./jdk1.7.0_75 /java/
        最后再删除安装文件：
        rm -rf jdk-7u75-linux-x64.gz
        安装完成后需要配置一下环境变量，编辑/etc/profile文件：
        vi /etc/profile
        在文件尾部添加如下配置：
        export JAVA_HOME=/java/jdk1.7.0_75 
        export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
        export PATH=$PATH:$JAVA_HOME/bin
        编辑完成后记得输入:wq保存退出。
        通过source命令重新加载/etc/profile文件，使得修改后的内容在当前shell窗口有效：
        source /etc/profile
        测试
        输入java -version查看一下jdk版本信息：
    注意事项：hadoop2.6版本用1.6的jkd，而Hadoop2.7则需要1.7以上版本，在安装java前先确定hadoop版本号


7.配置四台机器免密码登录
    ssh-keygen -t rsa -P “”
    建立.ssh/authorized_keys


8.修改配置文件
    vim core-site.xml
    vim hdfs-site.xml
    vim yarn-site.xml
    vim mapred-site.xml
    vim slave
    vim hadoop-env.sh
    vim fairscheduler.xml


9启动Hadoop集群：
    Step1 :
        在各个JournalNode节点上，输入以下命令启动journalnode服务：
        sbin/hadoop-daemon.sh start journalnode


    Step2:
        在[nn1]上，对其进行格式化，并启动：
        bin/hdfs namenode -format
        sbin/hadoop-daemon.sh start namenode


    Step3:
        在[nn2]上，同步nn1的元数据信息：
        bin/hdfs namenode -bootstrapStandby


    Step4:
        启动[nn2]：
        sbin/hadoop-daemon.sh start namenode
        经过以上四步操作，nn1和nn2均处理standby状态
    
    Step5:
        将[nn1]切换为Active
        bin/hdfs haadmin -transitionToActive nn1


    Step6:
        在[nn1]上，启动所有datanode
        sbin/hadoop-daemons.sh start datanode


10关闭Hadoop集群：
    在[nn1]上，输入以下命令
    sbin/stop-dfs.sh