在Ubuntu9.04上配置Hadoop集群

参考《Hadoop开发者入门专刊.pdf》

 

实践环境：

Ubuntu9.04+jdk1.6.20+hadoop-0.20.2(两台实体机)

机器名                 IP                    作用
ibm           125.216.227.173    NameNode、master、jobTracker
ibm01        125.216.227.152    DataNode、slave、taskTracker

 

安装步骤：

1、安装ubuntu9.04

     我用ubuntu9.04的光盘在xp系统下安装双系统，但不知道为什么安装后ubuntu总是用户名和密码验证不通过，装ubuntu单系统时能正常验证。没办法，只有两台机子都安装ubuntu单系统。

     还有就是更新源用默认的就可以了，没必要像《Hadoop开发者入门专刊.pdf》那样修改教育网的源！

创建用户：为了操作的简便，在所有机器上创建相同用户名和相同密码的用户。本例创建了相同的用户ibm。
修改机器名：$ hostname 机器名。(注：安装ubuntu时默认hostname时ibm-desktop，在用hostname命令修改后，重启ubuntu，会自动变回ibm-desktop，所以重启电脑后记得把hostname改回来，免得与下面设置的/etc/hosts文件不一致！我就试过了，会报错：too many fetch-failures等等，导致reduce阶段失败！)

在/etc/hosts 中添加机器名和相应的IP：

127.0.0.1 localhost
125.216.227.173 ibm
125.216.227.152 ibm01

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

2、开启ssh 服务

注意：自动安装openssh-server 时，先要进行sudo apt-get update 操作。

安装openssh-server：$ sudo apt-get install openssh-server

3、建立ssh 无密码登录

(1)在NameNode 上实现无密码登录本机：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ，
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。

再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)：

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。

完成后可以实现无密码登录本机：$ ssh localhost。

(2)实现NameNode 无密码登录其他DataNode（不用设置DataNode无密码登录NameNode！）：
把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以125.216.227.152节点为例)：
a. 拷贝NameNode 的id_dsa.pub 文件：
$ scp id_dsa.pub ibm@125.216.227.152:/home/ibm/
b. 登录125.216.227.152，执行$ cat id_dsa.pub >> .ssh/authorized_keys
其他的dataNode 执行同样的操作。

注意：如果配置完毕，如果namenode 依然不能访问datanode，可以修改datanode 的authorized_keys：$ chmod 600 authorized_keys。

注意：

（1）在配置过程中我试过namenode ssh localhost 时报错：Agent admitted failure to sign using the key，解决：$ ssh-agent ；$ ssh-add id_dsa

详细请看：http://www.jiangmiao.org/blog/559.html

（2）配置完毕后，还是不能无密码链接到DataNode，于是查看DataNode的.ssh文件夹，里面只有authorized_keys，在DataNode用ssh链接以下NameNode，新生成known_hosts文件，之后在NameNode就能无密码链接DataNode了，也不知具体原因是什么。

4、关闭防火墙
$ sudo ufw disable
注意：这步非常重要。如果不关闭，会出现找不到datanode 问题。

5、安装jdk1.6

由于教育网不能访问外网，ubuntu的Firefox也没有装代理，所以没法从sun主页下载jdk安装。(注：不能从windows下载linux的jdk然后传到ubuntu后安装，具体看我另一篇文章《 ubuntu9.04 JDK,JRE 环境变量配置》。)

安装配置JAVA 1.6.20
$sudo apt-get install sun-java6-jre sun-java6-jdk sun-java6-plugin

然后配置环境变量：

        vi  /etc/profile

在其中添加如下：
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.20
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
保存退出。

重启ubuntu！

 测试

    java -version

    ...   java version "1.6.0_20"
    ...  Java(TM) SE Runtime Environment (build 1.6.0_20-b03)
    ...  Java HotSpot(TM) Client VM (build 11.3-b02, mixed mode, sharing)

 

 注意：每台机器的java 环境最好一致。

6、安装hadoop

下载hadoop-0.20.2.tar.gz：

http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

解压：$ tar –zvxf hadoop-0.20.2.tar.gz

把Hadoop 的安装路径添加到环/etc/profile 中:

export HADOOP_HOME=/home/ibm/hadoop-0.20.2

export PATH=$HADOOP_HOME/bin:$PATH

7、配置hadoop

hadoop 的主要配置都在hadoop-0.20.2/conf 下。

(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同)：
$ gedit hadoop-env.sh
$ export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.20

(2)配置conf/masters 和conf/slaves 文件:(只在namenode 上配置)
masters: 125.216.227.173

slaves:125.216.227.152

(3)配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.xml(简单配置，namenode 与datanode 的配置相同)

core-site.xml:
<configuration>
<!--- global properties -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/ibm/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://125.216.227.173:9000</value>
</property>
</configuration>
hdfs-site.xml:( replication 默认为3，如果不修改，datanode 少于三台就会报错)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>125.216.227.173:9001</value>
</property>
</configuration>

8、运行hadoop

进入hadoop-0.20.2/bin，首先格式化文件系统：$ hadoop namenode –format
启动Hadoop：$ start-all.sh
用jps 命令查看进程，NameNode 上的结果如下：

5023 JobTracker
4767 NameNode
4908 SecondaryNameNode
8107 Jps

DataNode 上的结果：

4453 TaskTracker
8653 Jps
4302 DataNode 

查看集群状态：$ hadoop dfsadmin -report

Hadoop 的web 方式查看：http://125.216.227.173:50070

NameNode 'ibm:9000'
Started:  Tue Jul 13 04:36:49 CST 2010
Version:  0.20.2, r911707
Compiled:  Fri Feb 19 08:07:34 UTC 2010 by chrisdo
Upgrades:  There are no upgrades in progress.

Browse the filesystem
Namenode Logs
Cluster Summary
26 files and directories, 16 blocks = 42 total. Heap Size is 7.62 MB / 966.69 MB (0%)
Configured Capacity : 71.99 GB
DFS Used : 296 KB
Non DFS Used : 6.75 GB
DFS Remaining : 65.24 GB
DFS Used% : 0 %
DFS Remaining% : 90.62 %
Live Nodes  : 1
Dead Nodes  : 0

NameNode Storage:
Storage Directory Type State
/home/ibm/tmp/dfs/name IMAGE_AND_EDITS Active

Hadoop, 2010.   

9、运行wordcount.java 程序

(1)先在本地磁盘建立两个输入文件file01 和file02:
$ echo “Hello World Bye World” > file01
$ echo “Hello Hadoop Goodbye Hadoop” > file02
(2)在hdfs 中建立一个input 目录：$ hadoop fs –mkdir input
(3)将file01 和file02 拷贝到hdfs 中：
$ hadoop fs –copyFromLocal /home/ibm/soft/file0* input
(4)执行wordcount：
$ hadoop jar hadoop-0.20.2-examples.jar wordcount input output
(5)完成之后，查看结果：

10/07/13 05:10:04 INFO input.FileInputFormat: Total input paths to process : 2
10/07/13 05:10:05 INFO mapred.JobClient: Running job: job_201007130437_0003
10/07/13 05:10:06 INFO mapred.JobClient:  map 0% reduce 0%
10/07/13 05:10:21 INFO mapred.JobClient:  map 100% reduce 0%
10/07/13 05:10:36 INFO mapred.JobClient:  map 100% reduce 100%
10/07/13 05:10:41 INFO mapred.JobClient: Job complete: job_201007130437_0003
10/07/13 05:10:41 INFO mapred.JobClient: Counters: 17
10/07/13 05:10:41 INFO mapred.JobClient:   Job Counters
10/07/13 05:10:41 INFO mapred.JobClient:     Launched reduce tasks=1
10/07/13 05:10:41 INFO mapred.JobClient:     Launched map tasks=2
10/07/13 05:10:41 INFO mapred.JobClient:     Data-local map tasks=2
10/07/13 05:10:41 INFO mapred.JobClient:   FileSystemCounters
10/07/13 05:10:41 INFO mapred.JobClient:     FILE_BYTES_READ=79
10/07/13 05:10:41 INFO mapred.JobClient:     HDFS_BYTES_READ=50
10/07/13 05:10:41 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=228
10/07/13 05:10:41 INFO mapred.JobClie 
(注意：/etc/hosts设置的ip和主机名一定要对应上，否则reduce会失败！)
$ hadoop fs -cat output/part-r-00000

Bye         1

Goodbye 1

Hadoop   2

Hello        2

World      2