搭建hadoop2.8

一、搭建实验环境

四台centos6.6 , 64位

Master 192.168.124.15

Slave1.Hadoop 192.168.124.17

Slave2.Hadoop 192.168.124.21

Slave3.Hadoop 192.168.124.22

注意事项：

1、关于虚拟机下配置网络的几种方式需要了解，在了解清楚之后，选择桥接方式，将虚拟机模拟成局域网之内独立存在的主机，一个局域网之内的所有主机都可以相互之间进行访问，并且虚拟机能连接外网。这是进行后续步骤的前提。
2、创建一个虚拟机centos6.6之后，为了方便，所以在virtualbox中将第一个创建好的虚拟机centos6.6导入,创建三个相同的虚拟机，但是在这个过程中由于Mac地址的变换，所以需要进行网络的再次相关配置。

参考链接: http://blog.csdn.net/sailinglt/article/details/78464140

http://blog.csdn.net/sailinglt/article/details/78465632

二、配置ssh免密码登陆

参考链接 http://blog.csdn.net/sailinglt/article/details/78522340

三、安装JDK并配置

参考链接 http://blog.csdn.net/SailingLT/article/details/78523247

四、安装hadoop2.8并进行配置

hadoop2.8下载链接 http://mirrors.shuosc.org/apache/hadoop/common/stable/

##### 1、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的core-site.xml<configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://192.168.124.15:9000</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>file:/usr/hadoop/tmp</value>    </property>    <property>        <name>io.file.buffer.size</name>        <value>131702</value>    </property> </configuration>

#### 2、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的hdfs-site.xml <configuration>    <property>        <name>dfs.namenode.name.dir</name>        <value>file:/home/hadoop/dfs/name</value>    </property>    <property>        <name>dfs.datanode.data.dir</name>        <value>file:/home/hadoop/dfs/data</value>    </property>    <property>        <name>dfs.replication</name>        <value>2</value>    </property>    <property>        <name>dfs.namenode.secondary.http-address</name>        <value>192.168.124.15:9001</value>    </property>    <property>    <name>dfs.webhdfs.enabled</name>    <value>true</value>    </property> </configuration>

####3、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的mapred-site.xml <configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property>    <property>        <name>mapreduce.jobhistory.address</name>        <value>192.168.124.15:10020</value>    </property>    <property>        <name>mapreduce.jobhistory.webapp.address</name>        <value>192.168.124.15:19888</value>    </property> </configuration>

 ####4、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的yarn-site.xml <configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>    <property>        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>        <value>org.apache.hadoop.mapred.ShuffleHandler</value>    </property>    <property>        <name>yarn.resourcemanager.address</name>        <value>192.168.124.15:8032</value>    </property>    <property>        <name>yarn.resourcemanager.scheduler.address</name>        <value>192.168.124.15:8030</value>    </property>    <property>        <name>yarn.resourcemanager.resource-tracker.address</name>        <value>192.168.124.15:8031</value>    </property>    <property>        <name>yarn.resourcemanager.admin.address</name>        <value>192.168.124.15:8033</value>    </property>    <property>        <name>yarn.resourcemanager.webapp.address</name>        <value>192.168.124.15:8088</value>    </property>    <property>        <name>yarn.nodemanager.resource.memory-mb</name>        <value>768</value>    </property> </configuration>

9、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了，export JAVA_HOME=/home/java/jdk1.8.15

10、配置/home/hadoop/hadoop-2.8.2/etc/hadoop目录下的slaves，删除默认的localhost，增加3个从节点，192.168.124.17192.168.124.21192.168.124.22

`

五、将配置好的hadoop2.8复制到Slave服务器

scp -r /usr/hadoop 192.168.124.17:/usr/
scp -r /usr/hadoop 192.168.124.21:/usr/
scp -r /usr/hadoop 192.168.124.22:/usr/

五、启动以及访问

在Master服务器启动hadoop，从节点会自动启动，进入/usr/hadoop/hadoop-2.8.2目录下面：

(1)初始化，输入命令，bin/hdfs namenode -format (注意：只能启动一次，否则后面会出现很多问题)
(2)全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
(3)停止的话，输入命令，sbin/stop-all.sh
(4)输入命令，jps，可以看到相关信息

六、Web访问

要先开放端口或者直接关闭防火墙

(1)输入命令，关闭防火墙
service iptables stop(临时关闭防火墙)
chkconfig iptables off(永久关闭防火墙)
(2)浏览器打开
http://192.168.0.182:8088/
(3)浏览器打开
http://192.168.0.182:50070/

七、常见错误以及解决

参考文献

http://www.linuxidc.com/Linux/2015-11/124800.htm
http://www.mamicode.com/info-detail-1669425.html
http://www.linuxidc.com/Linux/2016-02/128149.htm