hadoop安装过程

来源：互联网发布：色老头网络编辑：程序博客网时间：2024/06/05 03:52

我们都知道Hadoop是一个由Apache开发得分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。下面，我将介绍Hadoop的安装过程，以及我在安装过程中碰到的一些问题。

安装环境：linux 32位。

首先，可以去Hadoop的官网下载安装包，http://hadoop.apache.org/releases.html。我这里选择的是Hadoop比较早的一个版本1.2.1。

然后，配置文件，安装SSH等。

这些网上有很多教程，我就不一一赘述。

http://www.powerxing.com/install-hadoop/

下面主要介绍一下，我在安装中碰到的一些i问题。

1.首先最令人头疼的问题，就是下载的Hadoop本地库文件位数与系统位数不符合的问题。

在此安装1.2.1之前，我尝试过安装2.7.2以及2.5.2和2.2.2都以失败告终，其他安装过程都没有问题，但是在启动hadoop时（sbin/start-all.sh和sbin/start-dfs.sh），都会报出这样如下警告：Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.”

这个错误产生的原因是发生系统是32位，而hadoop的本地库文件是由64位编译而成的。这个问题请广大的linux32位用户一定要注意。下面讲一下如何识别hadoop是32位还是64位。网上有人说hadoop官网提供得本来都是32位，但是大部分用户是64位，所以大家不得不编译，所以后来官网从hadoop2.5版本之后来时提供了64位。（之前下了一个2.2.2版本的仍是64位，建议大家首先查看一下版本）

我们来从官网下载的hadoop2.4.1安装包.
hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命令
#####################################

解压之后，我们进入
hadoop-2.4.1/lib/native

使用file命令：
file libhadoop.so.1.0.0

libhadoop.so.1.0.0: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, BuildID[sha1]=0xd3669af32f519c52b4e6200a69bec8ad7b26df85, not stripped

2.启动时，报错：JAVA_HOME is not set，正是由于java_home没有配置好，不是至/etc/profile里面那个。打开/hadoop/conf/hadoop-env.sh，

添加export JAVA_HOME="/usr/lib/jvm/java-6-sun"(根据本地路径的不同而设置，请写明绝对路径，注意默认情况下export前面有一个#,一定要去掉，配置好之后，重启一下，然后再启动hadoop)

0 0