Hadoop在Ubuntu下安装教程及伪分布式配置

摘要

本文档目的是介绍Hadoop的安装步骤，以及如何配置Hadoop的伪分布模式，使用 Ubuntu 12.04 64位 作为系统环境，在 Hadoop 2.7.1 版本下验证通过。

安装前准备

创建Hadoop账号

在ubuntu上创建一个名为 hadoop 的新用户：
$ sudo useradd -m hadoop -s /bin/bash

接着使用如下命令设置密码，按提示输入两次密码：
$ sudo passwd hadoop

为 hadoop 用户增加管理员权限：
$ sudo adduser hadoop sudo

最后注销当前用户，在登陆界面使用刚创建的 hadoop 用户进行登陆。

配置SSH

集群、单节点模式都需要用到SSH登陆，因此需要安装 SSH：
$ sudo apt-get install ssh

然后，基于空口令创建一个新SSH密钥，以启用无密码登录：
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

用以下指令进行测试：
$ ssh localhost

如果成功，则无需键入密码。

安装JAVA环境

本教程使用的是 OpenJDK 1.7：
$ sudo apt-get install openjdk-7-jre openjdk-7-jdk

接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置：
$ vim ~/.bashrc

在最前面单独加一行：
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

可通过$ java -version查看当前java版本信息。

Hadoop安装

$ wget http://apache.fayea.com/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
$ tar -xvzf hadoop-2.7.1.tar.gz -C /usr/local #解压到/usr/local
$ cd /usr/local
$ sudo mv ./hadoop-2.7.1/ ./hadoop # 将文件夹名改为hadoop
$ sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限

输入如下命令来检查 Hadoop 是否可用，成功则会显示命令用法：
$ cd ./hadoop
$ ./bin/hadoop

伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

修改配置文件 core-site.xml (vim /usr/local/hadoop/etc/hadoop/core-site.xml)，将当中的

<configuration>
</configuration>

修改为下面配置：

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

同样的，修改配置文件 hdfs-site.xml(vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml)：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

配置完成后，执行 namenode 的格式化:

$ bin/hdfs namenode -format

成功的话，会看到 successfully formatted 的提示，且倒数第5行的提示如下，Exitting with status 0 表示成功，若为 Exitting with status 1 则是出错。若出错（不该如此，请仔细检查之前步骤），可试着加上 sudo, 既 sudo bin/hdfs namenode -format 再试试看。

注意
在这一步以及后面启动 Hadoop 时若提示 Error: JAVA_HOME is not set and could not be found. 的错误，则需要在文件 ./etc/hadoop/hadoop-env.sh 中设置 JAVA_HOME 变量，即找到 export JAVA_HOME=${JAVA_HOME} 这一行，改为 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 (就是之前设置的JAVA_HOME位置)，再重新尝试即可

接着开启 NaneNode 和 DataNode 守护进程。

$ sbin/start-dfs.sh

若出现SSH提示，输入yes即可。

启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: NameNode、DataNode和SecondaryNameNode。（如果SecondaryNameNode没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试；如果 NameNode 或 DataNode 没有启动，请仔细检查之前步骤）。

$ jps

成功启动后，可以访问 Web 界面 http://localhost:50070 来查看 Hadoop 的信息。

运行Hadoop伪分布式实例

伪分布式读取的是 HDFS 上的数据,要使用 HDFS，首先需要创建用户目录

$ bin/hdfs dfs -mkdir -p /user/hadoop

接着将 etc/hadoop 中的文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。上一步已创建了用户目录 /user/hadoop ，因此命令中就可以使用相对目录如 input，其对应的绝对路径就是 /user/hadoop/input:

$ bin/hdfs dfs -mkdir input
$ bin/hdfs dfs -put etc/hadoop/*.xml input

复制完成后，可以通过如下命令查看文件列表：

$ bin/hdfs dfs -ls input

伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹删掉以及运行结果来验证这一点）。

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：

$ bin/hdfs dfs -cat output/*
也可以将运行结果取回到本地：

$ rm -R ./output
$ bin/hdfs dfs -get output output # 将 HDFS 上的 output 文件夹拷贝到本机
$ cat ./output/*
结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。

1 dfsadmin
1 dfs.replication
1 dfs.namenode.name.dir
1 dfs.datanode.data.dir

Hadoop运行程序时，默认输出目录不能存在，因此再次运行需要执行如下命令删除 output文件夹:

$ bin/hdfs dfs -rm -r /user/hadoop/output # 删除 output 文件夹

若要关闭 Hadoop，则运行

$ sbin/stop-dfs.sh
至此，你已经掌握 Hadoop 的配置和基本使用了。