Hadoop的安装与测试

一、  SSH安装

安装ssh按照说明进行，进行的很顺利

1.创建ssh-key，这里我们采用rsa方式，使用如下命令：

 

ssh-keygen -t rsa -P""

 

2.出现一个图形，出现的图形就是密码，不用管它

 

cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys (好像是可以省略的)

 

3.然后即可无：

 

ssh localhost

 

成功截图

 

 

二、  安装Hadoop

安装Hadoop之前必须安装好jdk，具体细节在此不表

 

我安装的是Hadoop-2.7.2，首先在官网下载到本地，然后解压大/usr/local/hadoop文件夹下

 

接下来修改下配置文件，旧版的配置文件貌似是放置在/conf 文件夹下，但新版的Hadoop将配置文件放置在/etc/hadoop下我主要配置了这文件 : core-site.xml  hdfs-site.xml   mapred.site.xml.template,具体的配置信息暂时不表

 

设置环境变量

 

为了能够使用Hadoop文件夹下的bin/hdfs  sbin/start-all.sh等命令，我们必须设置一下Hadoop的环境变量，我选择在 ~/.bashrc 下面设置，当然也可以使用其他设置环境变量的办法

 

在shell输入 gedit  ~/.bashrc打开bashrc文件，在末尾添加一下：

 

 

exportHADOOP_INSTALL=/usr/local/hadoop/hadoop-2.7.2

exportPATH=$PATH:$HADOOP_INSTALL/bin

exportPATH=$PATH:$HADOOP_INSTALL/sbin

exportHADOOP_MAPRED_HOME=$HADOOP_INSTALL

exportHADOOP_COMMON_HOME=$HADOOP_INSTALL

exportHADOOP_HDFS_HOME=$HADOOP_INSTALL

exportYARN_HOME=$HADOOP_INSTALL

 

三、  启动Hadoop

首先需要初始化下hdfs文件系统

hdfs namenode –format

接下来开启Hadoop

Start-all.sh

 

查看运行在jvm上的进程信息

Jps

 

结果如下

8085 Jps

7622 ResourceManager

7272 DataNode

7113 NameNode

7755 NodeManager

7468 SecondaryNameNode

 

四、  WordCount程序

首先下载测试的html文件

我在下载了wiki上关于Hadoop的介绍的html 下载了三个html文件但是发现put时文件名含空格上传失败 改了一下文件名，然后执行

lyj@ubuntu:~/Documents/Lyj/hadoopProgram/wordCount/in$hdfs dfs –mkdir /wordCount/in

 

lyj@ubuntu:~/Documents/Lyj/hadoopProgram/wordCount/in$hdfs dfs -put ./* /wordCount/in

接下来运行程序

lyj@ubuntu:~/Documents/Lyj/hadoopProgram/wordCount/in$hadoop jar /usr/local/hadoop/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jarwordcount /wordCount/in /wordCount/out

 

下面是结果的截图

屏幕的最初输出

查看结果

lyj@ubuntu:~/Documents/Lyj/hadoopProgram/wordCount/in$hdfs dfs -cat /wordCount/out/part-r-00000

 

统计的部分结果