Hadoop 2.5.0伪分布集群搭建

先作一个集群配置规划，我这里是模拟三个节点，我这里已装好一台了一个节点--bigdata01，配置过程请参考另一篇文章：

computer

hardware

software

IP

Host

name

CPU

RAM

HDD

hdfs

yarn

Map

reduce

192.168.22.150

bigdata01

3.6GHz (8核)

128GB

1TB

Name

node

datanode

  

nodemanager

 

192.168.22.151

bigdata02

3.2GHz (8核)

128GB

1TB

 

datanode

Secondary

namenode

Resource

manager

nodemanager

 

192.168.22.152

bigdata03

2.6GHz(4核)

16GB

10TB

 

datanode

  

nodemanager

History

server

 

然后用VMware克隆配置另外两个节点，对克隆机器IP与主机名进行修改，过程如下：

1、  修改IP地址与MAC地址，先查询克隆机的正确MAC地址，在VMware网络配置高级设置中查看，如图1：

图1

2、  使用root账户修改IP地址和MAC地址，用命令编译：vi/etc/sysconfig/network-scripts/ifcfg-eth0，删除UUID，修改IP地址（IPADDR）和MAC地址（HWADDR），如图2：

图2

3、  修改克隆机主机名，vi/etc/service/network，如图3：

图3

4、  修改克隆主机与IP对应关系，以及集群中其他主机的对应关系，使用命令：vi /etc/hosts,如图4：

图4

5、  配置集群中机器的免密钥登录，使用命令：ssh-keygen –t rsa生成本机公钥，然后用命令：ssh-copy-id bigdata02（计划免密钥登录主机名）.实现集群内各主机间的免密钥登录，如图5：

图5

根据规划部署安装集群节点功能

1、  namenode配置，在bigdata01节点上，编译core-site.xml,配置namenode服务器，如图6：

图6

2、  datnode配置，修改salves文件，添加bigdata02和bigdata03，如图7：

图7

3、  修改文件：hdfs-site.xml，配置secondarynamenode到bigdata02，如图8：

图8

4、  修改yarn-site.xml，配置resourcemanager到bigdata02，如图9：

图9

5、  修改mapred-site.xml，配置historyserver到bigdata03，如图10:

图10

6、  启动集群：start-dfs.sh,在各节点查看服务，如图11:

图11

7、  登录WEB页面查看UI，如图12-14：

图12

图13

图14

8、  运行WrodCount程序，执行命令：hadoopjar/home/beifeng/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jarwordcout /word/spf /word/out1，从namenode上查看文件,从am管理节点上查看运行状态,从历史服务器查看日志:

9、执行成功，使用命令：hdfs dfs -cat /word/out1/part-r-00000查看运行结果图：