Hadoop集群中wordcount的运行命令

本集群使用的是两台机器，一台master，一台node,以下是在集群上运行wordcount实例的一些命令。

一 、在master 中启动namenode和resourcemanager

[root@master ~]# sbin/hadoop-daemon.sh start namenode

[root@master ~]# sbin/hadoop-yarn-daemon.sh start resourcemanager

二、在node中运行datanode和nodemanager

[root@master ~]# sbin/hadoop-daemon.sh start datanode

[root@master ~]# sbin/yarn-daemon.sh start nodemanager

 

三、Wordcount 的运行

1 创建本地示例文件

首先在"/home/hadoop"目录下创建文件夹"file"。

[root@master ~]# mkdir ~/file

[root@master ~]# ll

 

接着创建两个文本文件file1.txt和file2.txt，使file1.txt内容为"Hello World"，而file2.txt的内容为"Hello Hadoop"。

 

2 在HDFS上创建输入文件夹

 [root@master file]# hadoop fs -mkdir /input

3 上传本地file中文件到集群的input目录下

 

[root@master ~]# hadoop fs -ls /input

 

hadoop dfsadmin -safemode leave

 

4  运行例子

1）在集群上运行WordCount程序

备注：以input作为输入目录，output目录作为输出目录。

　已经编译好的WordCount的Jar在“/hadoop/mapreduce/”下面，就是"hadoop-mapreduce-examples-2.2.0.jar"，所以在下面执行命令时记得把路径写全了，不然会提示找不到该Jar包。

[root@master ~]# hadoop jar /home/lch/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /input /output

 

 2）MapReduce执行过程显示信息

      Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到Hadoop的库中。以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号：job_201202292213_0002，而且得知输入文件有两个（Total input paths to process : 2），同时还可以了解map的输入输出记录（record数及字节数），以及reduce输入输出记录。比如说，在本例中，map的task数量是2个，reduce的task数量是一个。map的输入record数是2个，输出record数是4个等信息。

 

5 查看结果

1）查看HDFS上output目录内容

 

[root@master ~]# hadoop fs -ls /output

 生成了三个文件，我们的结果在"part-r-00000"中。

　2）查看结果输出文件内容

 [root@master ~]# hadoop fs -cat /output/part-r-00000

 

 本文为本人原创 ， 转载请注明。