CentOS7.0 64位下搭建Hadoop2.X集群详细步骤

环境

3台CentOS7.0虚拟机：
Master：192.168.139.101
Slave1：192.168.139.102
Salve2：192.168.139.103
前提条件：三台机器都安装了JDK1.7以上版本、关闭了防火墙、实现了SSH免密登录（实现方式可以见我另两篇博客）
Hadoop安装包：jdk-8u144-linux-x64.tar.gz，可以去官网下载

Hadoop解压

先在Master节点上安装配置，然后将安装好的Hadoop包拷贝到另外两个Salve节点上。
1. 将Hadoop安装包上传到Master节点的某一目录下，本文使用的目录是/home/centos/hadoop/
2. 解压tar包。命令：tar -zxvf hadoop-2.6.5.tar.gz。解压成功后，Hadoop包算是安装完了，剩下的就是配置各个文件。

Hadoop配置

1. 首先在目录/home/centos/hadoop/ 下新建四个用于Hadoop存放数据的文件夹tmp、hdfs、hdfs/name、hdfs/data。
   
   

2. 配置/hadoop-2.6.5/etc/hadoop/目录下的core-site.xml文件。

<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://192.168.139.101:9000</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>file:/home/centos/hadoop/tmp</value>    </property>    <property>        <name>io.file.buffer.size</name>        <value>131702</value>    </property></configuration>

3 .配置/hadoop-2.6.5/etc/hadoop/目录下的hdfs-site.xml文件。

<configuration>    <property>        <name>dfs.namenode.name.dir</name>        <value>file:/home/centos/hadoop/dfs/name</value>    </property>    <property>        <name>dfs.datanode.data.dir</name>        <value>file:/home/centos/hadoop/dfs/data</value>    </property>    <property>        <name>dfs.replication</name>        <value>2</value>    </property>    <property>        <name>dfs.namenode.secondary.http-address</name>        <value>192.168.139.101:9001</value>    </property>    <property>    <name>dfs.webhdfs.enabled</name>    <value>true</value>    </property></configuration>

4 .配置/hadoop-2.6.5/etc/hadoop/目录下的mapred-site.xml文件。
重命名文件mapred-site.xml.template:
mv mapred-site.xml.template mapred-site.xml

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>    <property>        <name>mapreduce.jobhistory.address</name>        <value>192.168.139.101:10020</value>    </property>    <property>        <name>mapreduce.jobhistory.webapp.address</name>        <value>192.168.139.101:19888</value>    </property></configuration>

5 .配置/hadoop-2.6.5/etc/hadoop/目录下的yarn-site.xml文件

<configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>    <property>     <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    </property>    <property>        <name>yarn.resourcemanager.address</name>        <value>192.168.139.101:8032</value>    </property>    <property>        <name>yarn.resourcemanager.scheduler.address</name>        <value>192.168.139.101:8030</value>    </property>    <property>        <name>yarn.resourcemanager.resource-tracker.address</name>        <value>192.168.139.101:8031</value>    </property>    <property>        <name>yarn.resourcemanager.admin.address</name>        <value>192.168.139.101:8033</value>    </property>    <property>        <name>yarn.resourcemanager.webapp.address</name>        <value>192.168.139.101:8088</value>    </property>    <property>        <name>yarn.nodemanager.resource.memory-mb</name>        <value>768</value>    </property></configuration>

6 .配置/hadoop-2.6.5/etc/hadoop/目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME
export JAVA_HOME=/usr/java1.8/jdk1.8.0_144

7 .配置/hadoop-2.6.5/etc/hadoop/目录下slaves。
将localhost删除，并写入两台SLaves机器的IP地址

192.168.139.102192.168.139.103

此时Ｍａｓｔｅｒ节点上的Hadoop算是配置好了，剩下的就是将配置好的Hadoop拷贝到两台Ｓｌａｖｅｓ机器上

８ .将配置好的Hadoop拷贝到另外两台机器的/home/centos目录下
　命令如下：

scp -r /home/centos/hadoop 192.168.139.102:/home/centosscp -r /home/centos/hadoop 192.168.139.103:/home/centos

９ .在Master服务器上启动hadoop（两台从节点会自动启动）。
　在/home/centos／hadoop/hadoop-2.6.5／目录下：
　　　输入命令：bin/hdfs namenode -format　（初始化）
　　　输入命令：sbin/start-all.sh（全部启动）
　　　输入命令：sbin/stop-all.sh（停止）
　　　输入命令：jps（查看相关信息）

如果需要分开启动，命令如下：

sbin/start-dfs.shsbin/start-yarn.sh

９ .通过浏览器访问

http://192.168.139.101:8088/http://192.168.139.101:50070/

　如果打不开，查看下防火墙是否关闭，相应端口是否关闭