hadoop集群安装

Hadoop安装文档

备注：本文档借鉴地址  http://blog.csdn.net/ab198604/article/details/8250461
1：准备：
3台机机器（可以虚拟机）
主：
192.168.180.129  master
从：
192.168.180.130  slave2
192.168.180.131 slave1
jdk安装包
hadoop安装包
2：更改三台机器的名字（有些系统文件你的用户可以没权限访问，你可以切换到你的root用户下修改一下文件的权限 chmod u+w /etc/hosts）
Vi /etc/hosts  3台机器都需要配置
 


每台机器看一下网卡的对应的hostname  和 本地的名字是否一致 不一致的话修改一下

  

3:建立hadoop 运行账号


 sudo groupadd hadoop //设置hadoop用户组
 
 sudo useradd –s /bin/bash –d /home/hadoopmaster –m hadoopmaster –g hadoop –G root //添加一个hadoopmaster 用户，此用户属于hadoop用户组，且具有root权限


 
 sudo passwd hadoopmaster //设置用户hadoopmaster用户的密码


 su hadoopmaster //切换到 hadoopmaster用户中


以上3台机器都需要进行以上步骤来完成hadoop运行账号建立的操作


4：配置ssh免密码登陆

命令：ssh –keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa

 (此处截图来自网络，自己做的时候忘记留图了)

以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中，如下：

 (此处截图来自网络，自己做的时候忘记留图了)
Id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下：

命令：cat id_dsa.pub >> authorized_keys

 (此处截图来自网络，自己做的时候忘记留图了)


另外两台机器同样的操作


单机回环ssh免密码登陆测试
即在单机结点上用ssh进行登录，看能否登录成功。登录成功后注销退出，过程如下：
 

第一次 可能会提示问你是否连接  输入 yes 就可以了
第二次 回环登陆的时候就不会再提示


让主结点(master)能通过SSH免密码登录两个子结点（slave）
为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样
当master就可以顺利安全地访问这两个slave结点了。操作过程如下：
//在slave 节点执行
命令：scp hadoopmaster@master:~/.ssh/id_dsa.pub ./master_dsa.pub
 
Scp 没有权限的时候 在 /etc/sudoers 新加  hadoopmaster ALL(ALL) ALL （前提是修改文件有编辑权限）
 


接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下：




第一次 可能会提示问你是否连接  输入 yes 就可以了
第二次 登陆的时候如果不在提示说明配置成功


 


slave2 节点同样的操作


表面上看，这两个结点的ssh免密码登录已经配置成功，但是我们还需要对主结点master也要进行上面的同样工作，这一步有点让人困惑，但是这是有原因的，具体原因现在也说不太好，据说是真实物理结点时需要做这项工作，因为jobtracker有可能会分布在其它结点上，jobtracker有不存在master结点上的可能性。


所以主节点也需要 对自己做一下免密码登陆认证 和 从节点的操作一下  最后测试 
ssh master 能登陆上 说明成功了
 


5：安装jdk
去官网下载linux的jdk 注意 看自己系统是多少位的  我这里 用到的是32 位的所以下载时选择的是32位的安装包 86 代表的是32 位的
命令：uname -a
 

配置环境变量 在 /etc/profile 文件中 前提修改文件有编辑权限  HADOOP_HOME是配置的hadoop的环境变量
 


验证环境变量
 


然后下载hadoop安装包 解压


到目前为止，准备工作已经完成，下面开始修改hadoop的配置文件了，即各种site文件，文件存放在/hadoop/conf下，主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。
我这里用到用到的是 2.7.2 版本的
上面几个配置文件的地址 ./hadoop/etc/hadoop 下面


 




下载下来的安装包有可能有的文件没有 或者有的给了个 template 模板  没有的话 自己新建一个就好了


core-site.xml
 


hdfs-site.xml
 


mapred-site.xml
 


紧接着配置 hadoop-env.sh  新加
 


第一个是jdk的位置
第二个是hadoop的位置


6：配置master和slave 文件  有的版本下载下来可能没有 master 文件，自己新加一个就可以了
master文件中 配置一下 master就可以  之前我们配置的hosts 主机对应的 名字就是 master
 


slave配置 slave1  slave2 以为我们的从机器是两台，所以这块我没配置两个（每写一个换行）
 


7：向各个节点复制hadoop
命令：scp –r ./hadoop slave1
scp –r ./hadoop slave2
 
 

8:格式换 namenode 
命令：hadoop namenode -format


 




 注意：上面只要出现“successfully formatted”就表示成功了。




9:启动hadoop
 




10 用jps检验 各后台进程是否启动成功
 



从节点上也看一下
 




11：通过web页面查看集群情况 访问主节点的ip：/ 50070
 


温馨提示：如果本机访问不了虚拟机的地址话，把主节点的防火墙关掉就好了。
到这安装就完成了！