Hadoop环境的配置

来源:互联网 发布:奥飞数据与奥飞娱乐 编辑:程序博客网 时间:2024/06/05 09:56

首先Hadoop运行在Linux之上,所以我们需要有虚拟机去虚拟一台Linux,笔者这里是Centos6.7系统。 创建虚拟机的过程就不多说了。


首先是配置虚拟机与物理机的网络关系。网络方面的配置笔者之前的博客有讲到。那篇博客的名字叫(VMware虚拟机 客户机是Linux的情况下客户机ping VMware网关,ping不通),里面详细介绍了如何配置网络。


当我们登入一台Linux机器命令前面一般都是这样的------>  [root@localhost]# (后面接着是一堆的shell命令)

我们要把域名localhost改为hadoop。

于是就敲入  vim /etc/sysconfig/network



将HOSTNAME=hadoop

再有一个就是修改域名和ip地址间的映射。

敲入命令 vim /etc/hosts


添加途中的一条记录

为了方便起见,可以将Linux的防火墙关闭掉,以防止造成不必要的麻烦。


敲入 service iptables stop   


再敲入 chkconfig | grep iptables


最后敲入  chconfig  iptables off 彻底关闭掉防火墙。



然后再就是如果想进行Hadoop配置,首先需要LInux机器上已经安装了jdk。

jdk的安装笔者就不再说了。

笔者这里有hadoop的安装包  ---------> hadoop-1.1.2.tar.gz


运行命令 tar -xzvf hadoop-1.1.2.tar.gz

然后为了简单起见 将文件夹重命名下  运行命令   mv hadoop-1.1.2     hadoop

配置环境变量。

敲入命令 vim    /etc/profile

修改如下



cd 到  /usr/local/hadoop/conf 目录下。


配置4个文件   hdfs-site.xml  mapred-site.xml   hadoop-env.sh  core-site.xml


首先配置hadoop-env.sh 文件 

敲入命令    vim hadoop-env.sh 

修改为如图所示。


接着配置core-site.xml

配置文件的内容如下:



紧接着配置 hdfs-site.xml 文件

内容如下:




最后配置mapred-site.xml文件


内容如下:



配置完成就可以启动了。

敲入命令 start-all.sh 命令就可以启动了。



打开centos的图形界面  再打开firefox   在地址栏里 敲入hadoop:50070  



看到如下界面就是hadoop环境配置完成。

0 0