关于Hadoop2.7.2运行wordcount

来源：互联网发布：网络手游排行编辑：程序博客网时间：2024/05/22 06:47

1.每次机器重启后需要重新format否则namenode无法启动的问题，解决办法就是修改core-site.xml，在你的hadoop安装目录添加临时文件夹。

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoophome/hadoop_tmp</value>
</property>

2.新建HDFS输入文件夹input2。

bin/hadoop fs -mkdir /input2

3.将本地文件添加到HDFS系统的输入文件夹input2里。

bin/hadoop fs -put README.txt /input2

4.HDFS分布式文件系统实际上并不能在机器上找到相应的文件夹位置。你可以通过fs命令查看文件目录。

bin/hadoop fs -ls / 或者是具体某个文件路径 bin/hadoop fs -ls /input2

5.同样你也可以查看某个文件的内容。

bin/hadoop fs -cat /input2/README.txt

6.运行wordcount，将结果输出到output2中

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input2 /output2

7.也可以删除HDFS的文件。

bin/hadoop fs -rmr /input2

8.注意每次运行前都必须清除你的输出文件夹如“output2”

9.查看结果

bin/hadoop fs -cat /output2/*

0 0