五、Hadoop 2.5.2分布式环境部署

一、地址规划

主机名

ip

配置

服务

Bigdata01.xxxx.com

192.168.249.130

内存1g

Cpu 1核

硬盘 10g

Namenode

Datanode

Nodemanager

Bigdata02.xxxx.com

192.168.249.131

内存1g

Cpu 1核

硬盘 10g

Datanode

Resourcemanager

Nodemanger

Bigdata03.xxxx.com

192.168.249.132

内存1g

Cpu 1核

硬盘 10g

Datanode

Secondarynamenode

Nodemanager

Historyserver

二、

按照之前安装的机器，克隆两台机器，分别修改hostname、网卡和ip，配置NTP时间同步

修改主机名：vi /etc/sysconfig/network

修改ip：vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改网卡：vi /etc/udev/rules.d/70-persistent-net.rules

Reboot重新启动。

三、

三台机器进行无密登陆配置。

Bigdata01===》bigdata01, bigdata02, bigdata03

Bigdata02===》bigdata01, bigdata02, bigdata03

ssh-keygen -t rsa

 ssh-copy-id -i bigdata01.xxxx.com

 ssh-copy-id -i bigdata02.xxxx.com

  ssh-copy-id -i bigdata03.xxxx.com

Core配置

Hdfs配置

slaves配置

Yarn配置

Mapreduce配置

启动

1、bigdata01.xxxx.com进行namenode格式化。

[jit@bigdata01 hadoop-2.5.2]$ bin/hdfs namenode –format

然后启动hdfs

[jit@bigdata01 hadoop-2.5.2]$ sbin/start-dfs.sh

2、bigdata02.xxxx.com 启动yarn

[jit@bigdata02 hadoop-2.5.2]$ sbin/start-yarn.sh

3、bigdata03.xxxx.com 启动

[jit@bigdata03 app]$ sbin/mr-jobhistory-daemon.sh start historyserver

四、查看是否启动

hdfs创建目录，上传文件，Mapreduce例子运行

查看运行结果