Hadoop伪分布式配置实验步骤

实验环境：centous32位，vmware虚拟机下

实验步骤：

1， 修改虚拟机IP地址

(1)通过centous图形桌面的图标更改ip地址为：192.168.80.100

(2)修改生效：service network restart使修改立即生效

(3)验证修改：ifconfig

2, 修改主机名

(1) 修改当前会话主机名为hadoop：hostname hadoop

(2) 配置永久主机名：vi  /etc/sysconfig/network

(3) 绑定主机名和IP：vi  /etc/hosts  增加一行192.168.80.100  hadoop

(4) 保存退出：esc  shift+:  wq

(5) 验证修改：在windows的dos下ping hadoop 测试能否ping通

3， 关闭防火墙

（1） 先查看防火墙状态：service iptables status

（2） 关闭防火墙：service iptables stop

（3） 验证是否关闭：service iptables status

4， 永久关闭防火墙

（1）chkconfig ——list                     列出所有服务的开启与关闭配置

（2）chkconfig ——list   |  grep iptables     查看iptables的开启状态

（3）chkconfig iptables off                   关闭iptables的自动启动状态

（4）chkconfig ——list  |  grep iptables      验证iptables的关闭状态

5，设置ssh免密码登录

（1） 进入~/.ssh文件夹：cd  ~/.ssh

（2） 产生密钥：此时位于~/.ssh文件夹下：ssh-keygen  –t  rsa

（3） 复制密钥：cp  ~/.ssh/id_rsa.pub  ~/.ssh/authorized

（4） 查看一下：ls

（5） 验证是否可以免密码登录：ssh  locahost

6,安装JDK

（1） 通过winscp，拖动jdk到/root/downloads目录下

（2） cd  /usr/local               （/usr/local是默认安装软件的位置）

（3） rm –rf *                    （删除原文件夹的东西）

（4） cp /root/downloads/* .        (.表示当前目录)

（5） 查看一下：ls

（6） 安装jdk:  ./jdk-6u24-linux-i586.bin   (安装命令是./)

（7） 万一权限不够：chmod u+x jdk-6u24-linux-i586.bin

（8） 再次执行安装：./jdk-6u24-linux-i586.bin

（9） 重命名jdk文件夹:mv  jdk-6u24-linux-i586.bin jdk

（10） 查看版本：java —version

7，配置jdk

（1）编辑配置文件： vi /etc/profile

(2)   配置jdk路径:   export JAVA_HOME=/usr/local/jdk

(3)   配置PATH路径：export PATH=.:$ JAVA_HOME/bin:$PATH

（4）使配置生效：source  /etc/profile

(5) 验证配置：  java —version

8，安装hadoop

（1):进入安装目录cd /usr/local

 (2):  解压：tar –zxvf hadoop-1.1.2.tar.gz

（3）查看：ls

（4）重命名：mv hadoop-1.1.2.tar.gz hadoop

（5）配置vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin :$ JAVA_HOME/bin:$PATH

（6） 使配置生效：source  /etc/profile

9，修改hadoop的配置文件

位于$HADOOP_HOME/conf目录下的文件

（1） hadoop_env.sh第9行

（2） core_site.xml修改为hadoop：9000

（3） hdfs_site.xml把configure修改（见ppt）

（4） mapred_site.xml修改为hadoop：9000

10.格式化hadoop的文件系统hdfs

hadoop namenode –format

11.启动hadoop

 start-all.sh

12.查看一下进程：不错的话应该有6个

jps

13:通过浏览器访问hadoop节点

hadoop:50070   namenode

hadoop:50030   mapreduce 

14:在windows下绑定ip和主机名

C:\windows\system32\drivers\etc

修改hosts文件

增加一行： 192.168.80.100 hadoop

这样就可以在windows下通过浏览器像13步那样访问hadoop节点

 

配置失败原因：

1：没有格式化hadoop

2：多次格式化hadoop，此时可以删除/usr/local/hadoop/temp文件夹重新格式化

3：hostname没有与ip绑定

4：ssh的免密码登录没有配置成功

5：hadoop的conf文件夹的文件没有配置成功

6：配置完成后没有source一下使配置生效