Ubuntu12.04+Hadoop2.6.5实现全分布式集群搭建

最近学习了hadoop很多理论，今天终于将集群环境配置好，中间遇到了许多坑，尤其ssh免密那里，自己也参考了很多文章，希望写这篇文章记录一下这一段历程，同时也希望帮助到需要的人。

主要的参考文章：

http://m.blog.csdn.net/shubingzhuoxue/article/details/49718095

http://m.blog.csdn.net/xiaoxiangzi222/article/details/52757168

一、环境配置
虚拟机：VMware Workstation12
系统： Ubuntu 12.04
节点： 192.168.198.3 master
     192.168.198.4 slaver1
     192.168.198.5 slaver2
jdk-8u65-linux-x64.tar.gz
java version 1.8.0_65
hadoop version 2.6.5
二、安装步骤
1、安装虚拟机系统，并进行准备工作
2、修改各个虚拟机的hostname和host
3、创建用户组和用户
4、配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以相互ping通
5、安装jdk和配置环境变量，检查是否配置成功
6、配置ssh，实现节点间的无密码登录，成功通过指令ssh slaver1、ssh slaver2免密登录到slaver1、slaver2
7、master配置hadoop，并将hadoop文件传输到node节点
8、配置环境变量，并启动hadoop，检查安装是否成功
三、安装虚拟机
在Windows10系统上安装VMware Workstation12软件，并安装下载好的Ubuntu 12.04系统，各虚拟机的配置均为1G运行内存，20G存储内存，一个一个安装，一共三台虚拟机，分别叫master、slaver1、slaver2。安装完成后启动虚拟机。具体虚拟机安装步骤可自行百度，虚拟机安装完成后的示意图如下：
 
四、修改虚拟机的hostname和hosts文件
以master上的机器为例，打开终端，执行如下操作，把hostname修改成master，hosts中，将各虚拟机的ip写入，如下图所示：
修改hostname的指令：
 
 
修改hosts的指令：
 
 
同样地，在slaver1和slaver2上做相似的操作，分别更改主机名为slaver1和slaver2，然后修改hosts文件同master的一样。
五、创建用户和用户组（三台机器上都要操作）
1、创建hadoop用户组
 
2、创建hadoop用户
 
3、给hadoop用户添加权限，打开/etc/sudoers文件
 
给hadoop用户赋予root用户同样的权限，如图：
 
此时，最重要的一步，输入命令su hadoop，进入刚刚创建的hadoop用户组
 
输入刚刚自己设定的密码，之后点击回车
 
发现@前已变为hadoop用户组。
六、检验各个主机之间能否ping通
分别以刚刚创建的hadoop用户重新登录系统，之后的操作都是以hadoop用户登录。采用命令 ping 主机名，检查能否与其他主机连通。
 
若如上图所示，则显示ping通，如果各个节点都能同其他节点ping通，则继续后面的操作。
七、安装jdk和配置环境变量
分别在各主机上安装jdk，并配置环境变量，需进行如下几步：
1、 下载jdk安装包
（1） 可以在自己的window系统中下完然后拖入到虚拟机当中
（2） 在Linux系统中输入命令java 后，按相关提示进行操作
本文采用的是第一种方式。
2、 通过cd命令进入到安装包的当前目录，利用如下命令进行解压缩。
tar –zvxf jdk-8u65-linux-x64.tar.gz(文章开头提到的)
3、 利用如下命令将解压后的文件夹移到/usr目录下
mv jdk jdk-8u65-linux-x64.tar.gz /usr/java
4、 配置环境变量
 
在末尾加上四行：
 
输入source /etc/profile使环境变量生效。
5、 查看配置是否成功
 
若出现以上信息，则说明Java配置成功。
八、配置ssh，实现节点间的无密码登录
自己在这一步耽误好长时间，参考了许多帖子，试了好几种方法，最终配置成功。步骤如下：
1、 安装ssh
首先确定自己的虚拟机是否安装了ssh，因为Ubuntu12.04自带ssh，所以我们输入如下命令进行查看：
 
会显示sshd以及ssh-agent，则说明已有ssh；若没有，则输入
sudo apt-get install openssh-server
进行ssh的安装。
2、 确定ssh是否成功安装
输入命令 ssh localhost
 
出现以上信息，则说明安装成功。此时若想退出登录，则输入命令 exit退出当前远程登录。
 
3、 生成密钥对
输入命令 ssh –keygen –t rsa
输入之后，一直按回车，发现生成的密钥位于~/.ssh文件夹下。
4、 在master上，导入authorized_keys 输入以下命令：
 
这样就可以实现无密码ssh自登陆，如下图所示：
 
之后exit退出登录。
为了实现master与slaver之间互相都能免密ssh登录，需要把id_dsa.pub发送到每一个主机的authorized_keys中，先通过scp命令将id_dsa.pub发送过去。此处，推荐进入slaver1和slaver2，把他们的id_dsa.pub发送到master上，然后再添加到master的authorized_keys中，再把master中的authorized_keys传到slaver1和slaver2中即可。其命令如下：
 
然后输入：
 
当把slaver1和slaver2的公钥都传给master后，再输入：
 
 
此时，在master下输入ssh slaver1，发现可以不需要输入密码就登录到slaver1上，证明配置完成。
 
九、master配置hadoop，然后将master的hadoop文件传送给slaver节点
1、解包移动
输入命令： tar –zvxf hadoop-2.6.5.tar.gz 解压hadoop包
mv hadoop-2.6.5 /home/hadoop 将安装包移到/home目录下
2、新建文件夹
在 /home/hadoop 目录下新建如下目录
mkdir /dfs
mkdir /dfs/name
mkdir /dfs/data
mkdir /tmp
建好后，ls得到如图文件目录结构：
 
3、配置文件hadoop-env.sh()
注意：接下来的几步，我们要修改的配置文件都在如图所示的目录下。
 
首先输入命令 
 
修改JAVA_HOME值
 
5、 配置文件：slaves
首先输入命令：
 
修改内容为：
 
6、 配置文件：core-site.xml
 
注：此处千万记住fs.defaultFS 以及 hadoop.tmp.dir 的内容，否则以后运行时很容易报错。
7、 配置文件：hdfs-site.xml
 
8.配置文件：mapred-site.xml
因为所显示的配置文件列表中无此文件（不要参考之前的那个图，那个是已经创建好的），因此要先创建该文件，再编辑：
输入命令： cp etc/hadoop/mapred-site.xml.templete etc/hadoop/mapred-site.xml

再输入命令：sudo gedit etc/hadoop/mapred-site.xml

 9.配置文件：yarn-site.xml
 
 10.将hadoop传输到slaver1和slaver2 /home/hadoop目录
输入命令：scp –r /usr/hadoop hadoop@slaver1:/home/hadoop
    scp –r /usr/hadoop hadoop@slaver2:/home/hadoop
十、配置环境变量，并启动hadoop，检查安装是否成功
1、配置环境变量
输入命令 sudo gedit /etc/profile
在文件末尾添加如下命令：
 
执行 source /etc/profile 使文件生效。
这里要注意的是：进行完该步骤后，输入ll，查看一下之前所创建的tmp，dfs的所属权限，可看到如下界面：
 
发现tmp和dfs都属于我们所创建的hadoop组。若不属于，通过chmod或者chgrp命令进行修改，具体写法可自行百度。
2、上述配置完成后，将配置好的文件发送给slaver1和slaver2，当然，也可以分别在slaver1和slaver2上配置，但是操作过程一样，浪费了不必要的时间。此处，我们通过命令: sudo scp –r /home/hadoop/hadoop hadoop@slaver1:~/ 
将整个hadoop复制过去。
3、启动hadoop
（1）格式化namenode： hdfs namenode –format
（2）启动hdfs，该命令以及hadoop中的一些其他命令都位于sbin下，如下图所示：
 
输入命令： 

 

此时输入jps，查看master上面运行的进程：
 
进入任意一个slaver节点，此处进入slaver1，输入jps，查看运行的进程：
 
说明一切都正常启动。
（3）启动yarn
 在master节点上输入： 

 

此时输入jps，查看master上面运行的进程：
 
发现ResourceManager正常启动。
进入slaver1，输入jps，查看运行的进程：
 
发现NodeManager也正常启动。
至此，hadoop集群已全部配置完成！！！