hadoop环境的搭建实例

1.安装linux虚拟机node1，node2，node3（centos6.7）

2.修改ip

设置静态ip

 

编辑网卡文件

vi /etc/sysconfig/network-scripts/ifcfg-eth0

设置网卡eth0的IPV4信息，需要注意的是，设置的IPADDR需要和局域网中其他机器处于同一网段。需设置容如下：

 

DEVICE=eth0

BOOTPROT=static

IPADDR=192.168.1.101

GATEWAY=192.168.1.1

NETMASK=255.255.255.0

ONBOOT=yes

 

网卡文件内容示例说明：

DEVICE=eth0                 //指出设备名称

BOOTPROT=static             //启动类型 dhcp|static

BROADCAST=192.168.1.203     //广播地址

HWADDR=00:06:5B:FE:DF:7C    //硬件Mac地址

IPADDR=192.168.0.2          //IP地址

NETMASK=255.255.255.0       //子网掩码

NETWORK=192.168.0.0         //网络地址

GATEWAY=192.168.0.1         //网关地址

ONBOOT=yes                  //是否启动应用

TYPE=Ethernet               //网络类型

重启网卡

service network restart

重启网卡时，shell中可能会有重新配置IP的相关信息出现在shell中。

 

通过ping局域网中其他主机的IP来测试配置是否成功

 

ping 192.168.1.10

3.修改主机名

/etc/hostname

 

4.防火墙 

service iptables stop关闭

chkconfig iptables off 开机不自启动

5.安装jdk（其中/etc/profile中需要配置home变量）

Javahome配置

export JAVA_HOME=/home/java/jdk1.7.0_80

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

 

profile最后加上

export HADOOP_INSTALL=/usr/hadoop

export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin${PATH}

export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}

export HADOOP_COMMON_HOME=${HADOOP_INSTALL}

export HADOOP_HDFS_HOME=${HADOOP_INSTALL}

export YARN_HOME=${HADOOP_INSTALLL}

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/natvie

export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"

 

通过xshell将jdk压缩文件传到虚拟机

具体步骤与问题在linux文档中

6.安装hadoop

将文件解压到虚拟机的一个路径下，进行配置，

系统环境需要配置hadoop的path

在单机伪分布式配置教程的最后，说到可以将 Hadoop 安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了，如果还没有配置的，需要在 Master 节点上进行配置。首先执行 vim ~/.bashrc，加入一行：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

如下图所示：

保存后执行 source ~/.bashrc 使配置生效。

 

 

7.一系列的配置主从节点

1.Hosts文件，都必须改，注释掉以前的，加入主从节点映射

 

2.文件 slaves，写上数据节点的主机名，由于主节点做namenode用，所以不用加上

 

3.配置如下文件，.sh里只是 配置了java_home,.xml文件按照具体路径名字修改

 

4.配置好后，将 Master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。在 Master 节点上执行：（ scp -r /usr/local/hadoop/hadoop  root@node3:/usr/local/hadoop/hadoop

）

cd /usr/local

sudo rm -r ./hadoop/tmp # 删除 Hadoop 临时文件

sudo rm -r ./hadoop/logs/* # 删除日志文件

tar -zcf ~/hadoop.master.tar.gz ./hadoop # 先压缩再复制

cd ~

scp ./hadoop.master.tar.gz Slave1:/home/hadoop

5.首次启动需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

 

6.接着可以启动 hadoop 了，启动需要在 Master 节点上进行：

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

stop-dfs.sh

stop-yarn.sh

主节点显示

 

子节点显示

 

 

分布式集群搭建完成