hadoop集群搭建详解读

1.准备linux环境

1.0将虚拟机的网络模式选为NAT

        1.1修改主机名

             vi /etc/hosts

             demo1

        1.2修改IP

           修改配置文件方式

vi /etc/sysconfig/network-scripts/ifcfg-eth33

DEVICE="eth33"
BOOTPROTO="static"               ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.222.136"           ###新添加IP
NETMASK="255.255.255.0"          ###子网掩码
GATEWAY="192.168.1.1"            ###网关

1.3修改主机名和IP的映射关系

                       vi /etc/hosts

192.168.222.136  demo1

192.168.222.137  demo2

192.168.222.138  demo3

1.4关闭防火墙

#查看防火墙状态

systemctl status firewalld  或者 service iptables status

        #关闭防火墙

service iptables stop(建议使用，不会开启自启防火墙)或systemctl stop firewalld(重启虚拟机将开启防火强)

      #查看防火墙开机状态

     1.5 修改sudo

    su  root

vi   /etc/sudoers  给hadoop用户添加执行权限

#重启linux

2.安转jdk

2.1利用xftp工具上传自己下载好的jdk

2.1解压jdk

tar -zxvf     jdk-8u141-linux-x64.tar   -C  /usr/local/

2.3将java添加到环境变量中

#此处有两种方法

#第一种方法 

        2.3.1  vi /etc/profile

#在文件最后添加

export JAVA_HOME=/usr/local/jdk1.8.0_141

export PATH=$PATH:$JAVA_HOME/bin

                #刷新配置

source  /etc/profile

#第二种方法

2.3.2 利用alterbatives 来搭建java环境，分别执行下面三条命令

alternatives --install /usr/bin/java java /usr/local/jdk1.8.0_141/bin/java 2

alternatives --set java /usr/local/jdk1.8.0_141/bin/java

alternatives –config java

3.安装 hadoop 2.7.3

将hadoop2.7.3 安装到 /usr/local/ 目录下

3.1配置hadoop 进入hadoop-2.7.3下的etc目录下的hadoop 需要修改六个配置文件

第一个：vi hadoop-env.sh

#第25行到30行左右

 export JAVA_HOME =/usr/local/jdk1.8.0_141

第二个：vi core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://demo1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/dfs</value>
    </property>

第三个：vi hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--指定  secondarynamenode  -->
<property>
<name>dfs.secondary.http.address</name>
<value>demo2:50090</value>
</property>

第四个：mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五个 vi yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>demo1</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

第六个  vi salves

添加：demo1

demo2

demo3

3.2  将hadoop添加到环境变量

         vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_141
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source  /etc/profile

4：修改 hadoop-2.7.3目录的权限

chown -R hadoop：hadoop  hadoop-2.7.3

5：配置ssh免密登录

demo1-->demo 2 , demo3

ssh-keygen -t rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub  hadoop@demo2

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@demo3

        6:将/usr/local/hadoop2.7.3  和jdk分别拷贝到demo2,demo3上

7：配置demo2，demo3上的环境变量 与demo1环境变量一致即可

       8：格式化namenode（对namenode进行初始化）

  hdfs  namenode -format (hadoop namenode -format)

      8.1 启动hadoop

先启动HDFS

sbin/start-dfs.sh

                再启动YARN

  sbin/start-yarn.sh

      8.2 验证是否成功

使用jps命令验证 查看进程

8.3http://ip:50070（HDFS管理界面）

              http://ip:8088(MR管理界面）