Hadoop-2.6.4集群(三个节点)安装(详细图文)

环境：win7安装虚拟机之后，安装centos6.5，并安装好jdk与mysql，然后克隆三台出来。这样我们安装hadoop的一个基本环境就有了，这次我们是一共三个节点，为什么不把这四台都用了呢？是因为可以留一台做备份，因为我们练习的基本环境已经有了，以后可以使用配置这一台来替换崩溃掉的某一台。然后使用SecureCRT来作为终端，远程控制Linux。
这篇博客适合有一定Linux基础的同学，在这里用到的一些命令都是常用的，所以也就不做过多关于Linux命令的介绍了。
需要注意的是，要将Linux的IP改为静态IP。

Step 1、配置服务器
此处以“master”、“slave1”、“slave2”来命名主节点和两个子节点。

– 配置主节点名 –
如图，先找到配置文件“network”。

然后使用 vim 编辑器做修改，将”HOSTNAME“修改为 “master”。

– 配置两台子节点名 –
同样的方法，就不做赘述了。

– 配置hosts –
打开主节点的hosts文件，并在文件中添加所有hadoop集群的主机信息。
如图：

修改完成之后保存退出。
然后将主节点的hosts文件分别拷贝到其他两个子节点。

然后分别在三台节点上执行：/bin/hostname hostname（重启服务器也可以不执行这句话，当然，如果条件允许的话，我还是建议重启一下）
例如：master 上执行

Step 2、配置ssh无密码访问

– 生成公钥密钥对 –
分别 在每个节点(是每个节点)上执行以下命令：

一直按回车(其实也就四下^.^)，直到生成结束。此时会在 “/root/.ssh/”目录下生成两个文件
“id_rsa” 和 “id_rsa.pub”。其中前者为私钥，后者为公钥。

大家执行命令结束之后可能会跟我的不太一样，不用怀疑自己，你没错，错的是我早就执行过一遍了。

然后在主节点 上执行：

此时如果提示你”overwrite ·authorized_keys· ? ”，输入 “y”回车即可。

– 将子节点的公钥拷贝到主节点并添加到 ‘authorized_keys’ –

在“slave1”节点上执行：

如图，细心的同学肯定发现主机名已经变了，“[root@slave1 ~] # ……”

然后在“slave2”节点上执行：

然后此时会在主节点上多出两个文件，在主节点上将拷贝过来的两个子节点上的公钥合并到 “authorized_keys”文件中去：

注意此处使用的是输出重定向，在”>>”前后都要有空格。

– 将主节点的authorized_keys文件分别替换子节点的 authorized_keys –

主节点上用scp 命令将 authorized_keys 文件拷贝到子节点上的 “/root/.ssh”目录下：

此时便已经配置完成，我们需要验证一下，可以在每个节点上使用 “ssh 主机名”命令来验证，不需要输入密码能正常登录则表示配置成功。

这里的配置方式可以有多种操作步骤，最终目的就是每个节点上的 “/root/.ssh/authorized_keys”文件中都包含所有节点生成的公钥内容。

注意：“^C”这个是一个手动终止，同学们不要像我一样，因为我已经拷贝过了，为了演示方便我就只是演示一下命令。

Step 3、安装 jdk
这个篇章可以参考我写的另一篇，用shell脚本安装jdk。
在”/usr/java”目录下安装 jdk1.8.0_91。

Step 4、安装 hadoop-2.6.4

– 安装 –
在”master”节点上安装hadoop，假设我们安装到“/usr/hadoop”目录下，没有的话可以使用”mkdir”命令新建一个。

– 小插曲 –
我们可以在win7上先去官网上下载好所需要的版本，比如我们这里使用的是“hadoop-2.6.4”，然后可以使用在SecureCRT上使用”rz”命令，(表示接收从win7传来的文件)，如果提示“command not found”则是因为Linux上没有安装这个命令。如果Linux能够联网的话我们可以使用”yum”命令来安装一下。

然后我们进入到”/usr/hadoop”目录，使用 “rz” 命令：

之后便会弹出一个窗口:

如图所示，最后：

这样便表示接收成功。然后就可以可是安装我们的hadoop了。

解压hadoop-2.6.4.tar.gz

之后经过一段闪屏之后便解压成功了，此时查看当前目录会发现多了一个文件夹

配置环境变量：

在 “/etc/profile”文件中添加如下内容：

保存后使新 “profile”文件生效：

– 配置hadoop相关文件 –

在”/usr/hadoop/hadoop-2.6.4/etc/hadoop”目录下，需要修改的有以下七个文件
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves

– hadoop-env.sh 文件中添加 ‘JAVA_HOME’–

– yarn-env.sh 文件中添加’JAVA_HOME’ –

– core-site.xml 文件配置如下 –

– hdfs-site.xml 文件配置如下 –

– mapred-site.xml 文件配置如下 –

– yarn-site.xml 文件配置如下 –

– slaves 文件配置如下 –

到此，hadoop的配置文件便已经结束(擦一把汗，强烈建议去下载一份相关配置的一下参数，官网上有详细的，但是我们目前是用不到那么多，所以我将这次我的配置参数放上来 http://pan.baidu.com/s/1pKUlNIV )。

然后在主节点上拷贝hadoop安装文件到子节点：

拷贝主节点上的”/etc/profile”文件到子节点：

并分别在子节点上使 “/etc/profile”文件生效，使用命令”source /etc/profile”。

– 格式化主节点的namanode –
在主节点上进入”/usr/hadoop/hadoop-2.6.4/”目录之后执行：

当看到提示：namenode successfully formatted 表示格式化成功

– 启动hadoop –
在主节点上，进入”/usr/hadoop/hadoop-2.6.4”执行：

不过我通常都不这样用，因为有时候记不住到底安装到哪儿了，所以我会使用”find”命令，找到要执行的脚本就行了。如下图：

然后使用”jps”命令查看此时启动起来的进程，在主节点上：

并分别在子节点上查看：

这样就表示我们这次的三个节点的集群安装配置成功。