Hadoop入门(1)：安装Hadoop

    Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

首先，我来说明下大概的步骤：

1.安装Liunx系统，对于初学者而言，我建议使用Ubuntu系统。

(虽然windows也可以运行Hadoop，但安装繁琐，不建议使用）

2.安装JDK

3.安装ssh

4.安装Hadoop

下面我们来详细讲解安装过程

1.安装Liunx系统。

2.安装JDK

Linux下的JDK安装还是比较繁琐的，首先我们需要下载JDK1.6的安装包  jdk-6u35-linux-i586.bin

这里我是放在Home下面的

首先，我们需要root的权限，并创建jdk目录，复制安装包

设置Root的密码：sudo passwd

切换Root的权限：su root

创建目录:mkdir /usr/lib/jvm

 mkdir /usr/lib/jvm/jdk

复制安装包：cp  jdk-6u35-linux-i586.bin /usr/lib/jvm/jdk

(如果找不到文件，请进入文件目录下再运行)

然后，赋予安装包执行的权限，并进行安装

chmod 755 jdk-6u35-linux-i586.bin

./jdk-6u35-linux-i586.bin /usr/lib/jvm/jdk

摁下回车，安装成功

最后配置环境变量

gedit /etc/profile

在文件最后添加 

#set java environment 

JAVA_HOME= /usr/lib/jvm/jdk/jdk1.6.0_35 

export JRE_HOME= /usr/lib/jvm/jdk/jdk1.6.0_35/jre 

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 

这时候JDK已经安装完成

输入java -version，就可以看到jdk的版本号了

3：安装ssh

在终端输入：sudo apt-get install ssh

         sudo apt-get install rsync

4：进入hadoop文件，修改JAVA执行路径：

hadoop-0.20.205.0-1.amd64.rpm

在终端输入: vi /home/hadoop/hadoop/conf/hadoop-env.sh

在hadoop-env.sh中将JAVA_HOME修改到JAVA安装的根目录下。修改后的情况是：

 export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_35

这时输入：bin/hadoop，可以看到脚本文件目录，则表示成功。