Centos 7中的HaDoop伪分布式安装

简介：
windows 7中安装VMware，VMware中安装Centos 7，Centos 7中安装伪分布式HaDoop
请提前下载jdk和hadoop

至于如何在windows中安装VMware以及在VMware中Centos 7，

请参照博主的博客：

Windows7下用VMware安装Centos7

1. 安装前的重要事情

（1）添加root用户
su———使用su命令进入root(需要roo密码)
vi /etc/sudoers———–使用此命令修改文件sudoers中的内容

[关于vi命令的使用方法，如果不会，请参照本博主的博客]
linux系统下修改文件命令vi的使用

找到如下图所示的内容，添加一行，其中红色方格内为你的root用户名

修改，保存，退出，即可
注意：
由于之前使用了su命令，会处于root权限下
如果修改之后，处于root权限下，请使用exit命令退出root权限

（2）更改主机名

sudo vi /etc/hostname ——–使用该命令修改hostname中的内容
将里面的内容更改为比如hadoop1
修改，保存，退出，即可

（3）添加虚拟机IP映射
添加虚拟机IP与主机名映射，方便用主机名代替IP
虚拟机IP的查看方式有两种：
ifconfig———使用此命令可查看（推荐）
点击虚拟机左上角的网络配置，也可以查看IP

sudo vi /etc/hosts———–利用此命令修改hosts文件下的内容
在hadoop1前加上刚才查看的IP，中间用空格隔开

（4）添加本地IP映射
依次进入下述目录下：
C—windows—system32—drivers—etc—hosts

没错：这次还是虚拟机的IP

（3）和（4）的作用是：后期用浏览器直接访问hadoop的hdfs

2. 安装jdk

如果之前将jdk下载到了本地计算机（windows 7）下，可以直接将其复制到虚拟机（Centos 7）中
sudo tar -zxvf /home/用户名/jdk-8u101-linux-x64.tar.gz -C /usr/lib/jvm
上述命令的意思是：将jdk解压到/usr/lib/jvm目录下：
sudo tar -zxvf 路径1 -C 路径2
路径1指的是jdk路径及其压缩包名，路径2是解压的目标路径

解压结束后，开始设置JAVA_HOME：
sudo vi /etc/profile ———修改profile中的内容

在其最上方或者第二行添加以下内容：

source /etc/profile ———使设置生效

echo $JAVA_HOME——检验是否成功
如果出来的是jdk 的安装路径说明成功

java -version———–查看jdk版本

如果出来的是1.8.0_101,说明一致，如果不是，说明不一致，也即使用的是默认jdk
如果不一致，请查看博主的博客

解决linux下jdk版本与安装版本不一致

3. 安装hadoop
如果之前将hadoop下载到了本地计算机（windows 7）下，可以直接将其复制到虚拟机（Centos 7）中

将hadoop安装到/usr/local目录下
sudo tar -zxvf /home/用户名/hadoop-2.7.3-linux-x64.tar.gz -C /usr/local/

sudo mv hadoop-2.7.3 hadoop——-将hadoop2.7.3改名为hadoop
sudo chown -R 用户名:所属组名 hadoop——更改hadoop的文件权限
其中：用户名和所属组名是自己安装时设置的root的用户名，hadoop为需要修改的文件，也就是我们刚安装后后并改过名的hadoop

/usr/local/hadoop/bin/hadoop——测试是否成功，如出现命令帮助说明成功

下面设置hadoop的系统变量：

(此处类似于jdk的环境变量设置)

sudo vi /etc/profile

添加export HADOOP_HOME=/usr/local/hadoop
并将hadoop的bin目录和sbin目录添加到PATH，综合如下图所示

下面开始配置各种文件

cd /usr/local/hadoop/etc/hadoop——进入hadoop文件夹下
ll——-使用ll命令查看此hadoop下的所有文件

需要配置的有六个：
core-site.xml、hdfs-site.xml、hadoop-env.sh、yarn-site.xml、mapred-site.xml，slaves

vi core-site.xml—————配置core-site.xml文件

hdfs-site.xml —————配置hdfs-site.xml文件

vi hadoop-env.sh ———配置hadoop-env.sh
找到JAVA_HOME这一行，更改为jdk安装路径

vi yarn-site.xml ——–配置yarn-site.xml

vi mapred-site.xml ——–配置mapred-site.xml

由于没有直接的mapred-site.xml，只有mapred-site.xml.template文件
所以需要先把mapred-site.xml.template改成mapred-site.xml文件
命令如下：

sudo mv mapred-site.xml.template mapred-site.xml
sudo vi mapred-site.xml ——-进入修改

vi slaves ———-更改datanode节点启动所有者

—————————————————————————————————————
—————————————————————————————————————
上述六个配置文件配置完成后就可以格式化namenode

hdfs namenode -format———–格式化namenode的命令

出现上图所示的successfully和Exiting with status 0表示成功

接下来测试进程：

start-dfs.sh————-启动dfs的有关进程
jps————-查看启动的进程
如果成功，会出现Jps、NameNode、DataNode、SecondaryNameNode四个进程

start-yarn.sh—————–启动yarn的有关进程
jps————-查看启动的进程
如果成功，会再增加两个进程：Nodemanager、Resourcenameger
综合进程情况如下图所示：

注意：在启动进程的时候会需要输入root密码多次，对于伪分布式而言虽说不多，但如果是分布式集群，那么可能每个节点都要输入密码，显然是不太现实的，所以，有必要配置无密登陆，即SSH。

有关SSH免密登陆，请参照我的博客：
HaDoop启动进程之SSH免密登陆