搭建hadoop-0.20.2开发测试环境（三）

搭建hadoop环境

1、安装jdk，值得注意的是：linux下的java有两种一个是openjdk一个sun的。因为一些原因，Sun Java 无法从 Ubuntu 的软件库里面取得
取而代之的是 OpenJDK，不过 OpenJDK 跑某些程式会出现问题所以还是需要 Sun Java。

（这是前人给的经验，我根据他的说法，直接安装了sun的jdk，谢谢，方法如下：）

step1：在oracle官网上面下载 jdk-7u25-linux-i586.tar，地址：

step2：上传到虚拟机ubuntu的 /usr/local/java  目录（目录可以任意，我一般习惯放在usr下面）

我这里是借助secureCRT工具上传的，他有一个SecureFX工具，类似winscp

 

step3：解压 jdk-7u25-linux-i586.tar 进入到java目录，直接解压到该目录

hadoop@ubuntu:/usr/local/java$ tar -zxvf jdk-7u25-linux-x64.tar.gz

 

step4：设置java环境

在终端中打开etc/profile文件（在secureCRT中打不开，报错），因此我是登陆到虚拟机，在桌面按Ctrl+Alt+T 打开终端的，切换到root用户后，修改profile文件

root@ubuntu:~# sudo gedit /etc/profile

在该文件的末尾添加下面的java环境：

#set java environment
JAVA_HOME=/usr/local/java/jdk1.7.0_25
export JRE_HOME=/usr/local/java/jdk1.7.9_25/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

因为这是以图形界面打开的，因此直接点击菜单的保存按钮，环境变量就设置好了。

由于ubuntu中可能会有默认的jdk，如openjdk，所以，为了使默认使用的是我们安装的jdk，还要进行如下工作。
执行代码:
root@ubuntu:~# update-alternatives --install /usr/bin/java java /usr/local/java/jdk1.7.0_25/bin/java 300
root@ubuntu:~# update-alternatives --install /usr/bin/javac javac /usr/local/java/jdk1.7.0_25/bin/javac 300

说明：这个命令是把自己安装的jdk加载到系统的列表中，[/usr/local/java/jdk1.7.0_25/bin/java] 是自己安装的jdk的路径

通过这一步将我们安装的jdk加入java选单。

然后执行代码:
root@ubuntu:~# update-alternatives --config java

通过这一步选择系统默认的jdk
这样，再在shell中输入，代码:

root@ubuntu:~# java -version

 

就会显示系统使用的java是sun的java。

到这里jdk就安装好了

 

2、安装hadoop

下载hadoop-0.20.2.tar.gz，这是老版本了，我直接百度的

解压：

root@ubuntu:/usr/local# sudo tar xzf hadoop-0.20.2.tar.gz

将解压的文件重命名为hadoop（看自己方便，也可以不修改）

root@ubuntu:/usr/local# mv hadoop-0.20.2 hadoop

可以看一下hadoop的目录结构如下（不同版本目录结构不一样）：

 

配置hadoop环境

step1： 进入hadoop/con目录，修改hadoop-env.sh 文件，添加hadoop的环境信息：
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

我是在ubuntu中直接打开终端添加的，在secureCRT中修改不了

CTRL+ALT+T打开ubuntu的终端

运行命令：sudo gedit usr/local/hadoop/con/hadoop-env.sh （以图形的窗口打开文件）

root@ubuntu:/usr/local/hadoop/conf# sudo gedit hadoop-env.sh

 

step2： 使环境变量立即生效

root@ubuntu:/usr/local# source /usr/local/hadoop/conf/hadoop-env.sh  

进行到这里，hadoop的单机环境已经搭建好了，马上开始试运行一下hadoop自带的例子，看看环境是否搭建成功。

首先在hadoop目录下创建一个input的目录，该目录作为hadoop的输入目录

root@ubuntu:/usr/local/hadoop # mkdir input

将con目录下的文件拷贝到input目录下，作为输入的文件数据

 root@ubuntu:/usr/local/hadoop# cp con/* input

运行下面的命令：

 root@ubuntu:/usr/local/hadoop# bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output

这行命令的意思是：bin/hadoop jar（使用hadoop运行jar包），对应的hdfs上的输入目录为input、输出目录为output

运行结果如下图：

 

 

 

 

进入到output目录，可以看到所有单词的出现次数都被统计出来了。