Centos7 + Hadoop 3.0 伪分布式环境安装部署

本文用来记录自己学习hadoop生态而作，并给大家提供参考，如有问题，请见谅。

一：安装准备

1，VMware + CentOS-7-x86_64-Everything-1511.iso（下载地址：http://mirrors.cn99.com/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1511.iso ）

2，hadoop-3.0.0-alpha1.tar.gz（下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0-alpha1/）

3，jdk8

二：安装部署

1，安装VMware（过程忽略），创建linux虚拟机，配置虚拟机网络（可以百度一下，网上有很多详细的资料过程，后续自己也会总结一下配置过程）

      关闭防火墙，root用户执行： systemctl stop firewalld.service

      失效防火墙，root用户执行： systemctl disable firewalld.service

2，linux为hadoop创建用户执行命令        useradd hadoop

      修改hadoop密码：   passwd 123456789

3，切换root用户为创建的hadoop用户，创建hadoop相关软件的安装目录

注：在需要root用户权限修改系统文件或参数的时候，最好使用sudo

为hadoop用户增加sudo权限，切换到root用户，修改   vi /etc/sudoers.d

4，修改主机名，sudo vi /etc/hostname

我将主机名修改为   xingxp-hadoop-133 ，之后在配置hadoop配置文件的时候需要。

增加主机名映射 :  sudo vi /etc/hosts

5，配置java环境变量

解压 jdk   ：  tar -zxvf jdk-8u91-linux-x64.gz -C app/

修改环境变量：sudo vi /etc/profile

在末尾增加内容：

执行  source /etc/profile 是文件生效。

6，安装配置hadoop

解压hadoop-3.0.0-alpha1.tar.gz，执行： tar -zxvf /tmp/hadoop-3.0.0-alpha1.tar.gz -C /home/hadoop/app/

配置hadoop环境变量：sudo vi /etc/profile

文件末尾增加内容

修改相关hadoop目录/home/hadoop/app/hadoop-3.0.0/etc/hadoop下相关hadoop配置文件（标记为必须修改文件）：

1）hadoop-env.sh   hadoop环境变量文件

增加java环境变量，防止不能直接读取系统环境变量

2）core-site.xml   hadoop核心配置文件，修改如下：

在hadoop安装目录下创建目录： tmp-data   ，用与存放namenode，datanode数据，执行：mkdir /home/hadoop/app/hadoop-3.0.0/tmp-data

3）hdfs-site.xml  文件系统配置文件，修改如下：

4）yarn-site.xml  资源调度配置文件，修改如下：

5）mapred-site.xml  mapreduce配置，修改如下：

7，配置ssh免登陆，否则在启动hadoop的时候报错

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

8，初始化hadoop

执行：hadoop namenode -format   进行初始化

9，启动dfs

执行：start-dfs.sh   启动dfs

查看dfs启动情况 ，执行 ：jps

如果是集群，多个datanode的话，需要修改配置文件workers，来指定有哪些datanode

这里我就配置了一个，如果有多个，可以一次添加（注：使用机器名，之后在hosts文件中做映射）

10，启动yarn

执行：start-yarn.sh ,启动yarn

三：测试hdfs

1，通过web服务查看（jetty）

      默认地址为： http://xingxp-hadoop-133:9870/

2，上传文件，执行：hdfs fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz，web页面可以查看到，也可以通过web页面下载。

3，下载文件，执行：hadoop fs -get hdfs://xingxp-hadoop-133:9000/jdk-8u91-linux-x64.gz