Hadoop 2.0 安装向导

最新版本的HADOOP2.0与老版本相比有不同的目录结构。

本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法（Hadoop 0.23安装）。

这有许多可以执行的方式，现在介绍以下：

如果想安装老版本的hadoop此处不再介绍。

首先一个可用的linux操作系统，此处介绍使用ubuntu

创建一个名为hadoop的用户并做以下操作：

1、  配置SSH

2、  安装JDK

3、  安装Hadoop

更新 repository
#sudo apt-get update

下载SSH

view sourceprint?

1#sudo apt-get install openssh-serveropenssh-client

2#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

3#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4 

5#sudo chmod go-w $HOME $HOME/.ssh

6#sudo chmod 600 $HOME/.ssh/authorized_keys

7#sudo chown `whoami` $HOME/.ssh/authorized_keys

测试 SSH 

view sourceprint?

01#ssh localhost

02OK

03#exit

04安装jdk

05 

06#sudo mkdir /usr/java

07#cd /usr/java

08#sudo wgethttp://download.oracle.com/otn-pub/java/jdk/6u31-b04/jdk-6u31-linux-i586.bin

09 

10#sudo chmod o+w jdk-6u31-linux-i586.bin

11#sudo chmod +x jdk-6u31-linux-i586.bin

12#sudo ./jdk-6u31-linux-i586.bin

下载并解压hadoop2.0.x并解压到一个文件夹中，此处叫此文件夹为HADOOP_PREFIX

设置环境变量

view sourceprint?

1exportHADOOP_PREFIX="/home/hadoop/software/hadoop-2.0.0-alpha"

2export PATH=$PATH:$HADOOP_PREFIX/bin

3export PATH=$PATH:$HADOOP_PREFIX/sbin

4 

5exportHADOOP_MAPRED_HOME=${HADOOP_PREFIX}

6export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

7export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

8export YARN_HOME=${HADOOP_PREFIX}

重启一次电脑使env / path变量生效

Hadoop 2.x 版本中 /etc/hadoop是默认的配置文件夹

需要在/etc/hadoop目录中修改/创建以下属性文件

编辑 core-site.xml

view sourceprint?

01<configuration>

02 

03<property>

04<name>fs.default.name</name>

05<value>hdfs://localhost:8020</value>

06<description>The name of the default file system. Either the

07literal string "local" or a host:port for NDFS.

08</description>

09<final>true</final>

10</property>

11</configuration>

编辑hdfs-site.xml

 

view sourceprint?

01<configuration>

02<property>

03<name>dfs.namenode.name.dir</name>

04<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name</value>

05<description>Determines where on the local filesystem the DFS name node

06should store the name table. If this is a comma-delimited list

07of directories then the name table is replicated in all of the

08directories, for redundancy. </description>

09<final>true</final>

10</property>

11 

12<property>

13<name>dfs.datanode.data.dir</name>

14<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data</value>

15<description>Determines where on the local filesystem an DFS data node

16should store its blocks. If this is a comma-delimited

17list of directories, then data will be stored in all named

18directories, typically on different devices.

19Directories that do not exist are ignored.

20</description>

21<final>true</final>

22</property>

23 

24<property>

25<name>dfs.replication</name>

26<value>1</value>

27</property>

28 

29<property>

30<name>dfs.permissions</name>

31<value>false</value>

32</property>

33 

34</configuration> 

路径

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/name与

file:/home/hadoop/workspace/hadoop_space/hadoop23/dfs/data

是计算机中的一些文件夹，用于存放数据和编辑文件的

路径必须用一个详细的URI描述。

在 /etc/hadoop使用以下内容创建一个文件mapred-site.xml

view sourceprint?

01<configuration>

02<property>

03<name>mapreduce.framework.name</name>

04<value>yarn</value>

05</property>

06 

07<property>

08<name>mapred.system.dir</name>

09<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system</value>

10<final>true</final>

11</property>

12 

13<property>

14<name>mapred.local.dir</name>

15<value>file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local</value>

16<final>true</final>

17</property>

18 

19</configuration>

路径

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/system与

file:/home/hadoop/workspace/hadoop_space/hadoop23/mapred/local

为计算机中用于存放数据的文件夹

路径必须用一个详细的URI描述。

编辑yarn-site.xml

view sourceprint?

01<configuration>

02<property>

03<name>yarn.nodemanager.aux-services</name>

04<value>mapreduce.shuffle</value>

05</property>

06<property>

07<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

08<value>org.apache.hadoop.mapred.ShuffleHandler</value>

09</property>

10 

11</configuration> 

在 /etc/hadoop 目录中

创建hadoop-env.sh并添加：

export JAVA_HOME=/usr/java/jdk1.6.0_31

将以上JAVA_HOME 改为本机jdk安装地址

保存并准备格式化

格式化 namenode

# hdfs namenode –format

 

开始守护进程

# hadoop-daemon.sh start namenode

# hadoop-daemon.sh start datanode

可以同时启动：

# start-dfs.sh

开始 Yarn守护进程

# yarn-daemon.sh start resourcemanager

# yarn-daemon.sh start nodemanager

或同时启动：

# start-yarn.sh

检查守护进程是否启动

# jps

2539 NameNode
2744 NodeManager
3075 Jps
3030 DataNode
2691 ResourceManager

浏览UI

打开 localhost:8088查看资源管理页面

OK

搞定手工！

祝：Hadoop玩得愉快！

文章出处：http://blog.csdn.net/shenshouer/article/details/7613234