用hadoop运行一个简单程序WordCount

来源:互联网 发布:adobecc2018 mac 破解 编辑:程序博客网 时间:2024/05/29 03:50



1、在hadoop目录下面新建两个文件夹,随便输入一些语句

2、在HDFS上创建输入文件夹

呼出终端,输入下面指令(要在/usr/Hadoop/hadoop0.21.0/目录下):

bin/hadoop fs -mkdir hdfsInput

执行这个命令时可能会提示类似安全的问题,如果提示了,请使用

bin/hadoop dfsadmin -safemode leave

来退出安全模式。

3. 上传本地file中文件到集群的hdfsInput目录下

在终端依次输入下面指令(f_*表示以f_开头的所有文件):

bin/hadoop fs -put file/f_*.txt hdfsInput

4. 运行例子:

在终端输入下面指令(所有jar文件全在/usr/hadoop/hadoop0.21.0目录下面):

bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount hdfsInput hdfsOutput

注意,这里的示例程序是0.21.0版本的,可能每个机器有所不一致,那么请用*通配符代替版本号

bin/hadoop jar hadoop--mapred-examples-*.jar wordcount hdfsInput hdfsOutput

应该出现下面结果:

查看HDFS上hdfsOutput目录内容:

在终端输入下面指令:

bin/hadoop fs -ls hdfsOutput

我们的结果在"part-r-00000"中。

使用下面指令查看结果输出文件内容

输出目录日志以及输入目录中的文件是永久存在的,如果不删除的话,如果出现结果不一致,请参考这个因素。


0 0
原创粉丝点击