hadoop伪分布式环境搭建

来源：互联网发布：chrome浏览器 windows 编辑：程序博客网时间：2024/06/03 21:16

hadoop的部署方式有三种：本地模式、伪分布模式、集群模式。本地模式是要求本地操作系统是linux系统，在本地直接进行hadoop的部署，这样部署出的hadoop开发环境是集主节点和从节点于一身的。这样不利于hadoop后续分布式的学习。通过创建虚拟机来搭建hadoop的部署环境，可以相继完成伪分布模式和集群模式。我用的虚拟机版本是VMware12,linux版本是CentOS。现把伪分布模式搭建流程做如下记录。

hadoop伪分布式环境搭建遵循五个步骤：，

关闭防火墙

修改主机名

设置SSH自动登录

安装JDK

安装hadoop

1. 新建虚拟机，命名为hadoop0，密码是123456。如果本地电脑通过无线连接到网络，记得虚拟机连接网络方式设置为桥接

2. 用xShell或者secureCRT远程连接到三台服务器上，便于操作。本人使用的是xShell

3. 通过用户名root身份连接到虚拟机上。

4. 关闭防火墙:执行命令service iptables stop，验证防火墙是否关闭:service iptables status。当下次登录该系统，防火墙会自动打开。所以还要执行如下命令:chkconfig iptables off(关闭防火墙的自动运行),验证：chkconfig --list | grep iptables

5. 修改主机名:修改hostname为 hadoop0。修改主机名配置文件:vi /etc/sysconfig/network 修改HOSTNAME=hadoop0。重启系统:reboot

6. 将ip与hostname绑定：执行命令:vi /etc/hosts。增加行ip hostname。

7. 设置SSH免密码登录：执行命令：

1)ssh-keygen -t rsa

2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys。

3)验证:ssh hadoop0，这个时候如果不用设置密码就能登录到系统，说明免密码设置成功。

8. 安装JDK：因为我用的hadoop版本是1.1.2的，这里用的jdk版本也只是jdk-6u24-linux-i586.bin。通过WinSCP远程连接到linux系统上，做所需jdk、hadoop上传，默认放到linux文件夹/usr/local下。现做执行命令操作:

1)cd /usr/local

2)chmod u+x jdk-6u24-linux-i586.bin

3)./jdk-6u24-linux-i586.bin

4)mv jdk-1.6.0_24 jdk

5)vi /etc/profile增加内容如下:

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin/:$PATH如果缺少$PATH,系统会识别不出所有命令

6)验证jdk是否安装成功:java -version

9. 安装hadoop，执行如下命令:

1)解压:tar -zxvf hadoop-1.1.2.tar.gz

2)mv hadoop-1.1.2 hadoop

3)vi /etc/profile 增加如下内容:

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

4）修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

5) 格式化namenode：hadoop namenode -format

6)启动hadoop:start-all.sh

7) 验证

1）输入指令：jps，如果可以看到5个java进程，分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker，说明安装成功

2）在浏览器查看http://hadoop0:50070 http://hadoop0:50030

至此，hadoop伪分布式部署成功。

0 0