Hadoop多节点集群配置

data1配置（步骤针对虚拟机virtualbox2.5.20）

网络配置文件{

sudo gedit /etc/network/interfaces

将下面代码贴到loopback下面一行

#NAT interfaceauto eth0iface eth0 inet dhcp#host only interfaceauto eth1 iface eth1 inet staticaddress 192.168.56.101netmask 255.255.255.0network 192.168.56.0broadcast 192.168.56.255

编辑hostname

sudo gedit /etc/hostname

改为data1

}

编辑hosts文件

sudo gedit /etc/hosts

写在127.0.1.1 hadoop 下面那行

192.168.56.100 master192.168.56.101 data1 192.168.56.102 data2 192.168.56.103 data3

编辑core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

找到对应改成这个 hdfs://master:9000

编辑yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml在两个类似下面那种的后面写上 如下语句<property>  <name>yarn.resourcemanager.resource-tracker.address</name>  <value>master:8025</value>  </property><property>  <name>yarn.resourcemanager.scheduler.address</name>  <value>master:8030</value>  </property><property>  <name>yarn.resourcemanager.address</name>  <value>master:8050</value>  </property>

编辑mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml修改为<configuration><property>   <name>mapred.job.tracker</name>   <value>master:54311</value>  </property></configuration>

编辑hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

删除namenode设置


重启data1   可以用 ifconfig 查看ip

关机 完全复制data1到 data2，data3，master 复制过程如果有这个   重新初始化所有网卡的mac地址 就选择 。

设置data2和data3服务器

前面网络配置括号部分走一遍，改动为

address 192.168.56.10×   ×为data×

hostname为对应data节点名字，只进行这两处修改

完成后都关机

设置master服务器

第一步进行和设置data2的类似，但是×是0 名字是master

编辑hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml  不能打开就重启设置namenode  不要datanodedfs.namenode.name.dir   file:/usr/local/hadoop/hadoop_data/hdfs/namenode

编辑master文件

sudo gedit /usr/local/hadoop/etc/hadoop/master输入master

编辑slaves文件

sudo gedit /usr/local/hadoop/etc/hadoop/slaves输入 data1data2data3

都关机，之后都开启

master连接到data1，data2，data3创建hdfs目录

在master中 ssh data1 sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode sudo chown hduser:hduser -R /usr/local/hadoop exit之后ssh data2 和ssh data3做类似的操作（ssh 后面的名字要改其他一样）

创建并格式化namenode hdfs目录

sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode sudo chown -R hduser:hduser /usr/local/hadoophadoop namenode -format

启动Hadoop multinode cluster 

start-all.sh  启动hdfs和yarn查看目前所執行的行程jps可以通过ssh data1 jpsexit来查看各个节点的进程Hadoop Resource­Manager Web界面http://master:8088/开启namenode 界面http://master:50070/