使用hadoop做wordcount笔记

来源:互联网 发布:高分一号卫星数据价格 编辑:程序博客网 时间:2024/06/08 04:10

以前写的mapreduce的wordcount,都忘了怎么执行了

hadoop  jar/home/dmc/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.6.0.jar-mapper mapper1.py-file mapper1.py-reducer reducer1.py-file reducer1.py-input /user/hujianqiu/wordcount/input_word/*-output output_word

其中,调用的jar包可不是随便找一个的,而是要用本机安装的hadoop-streaming的jar包,因而要找一下hadoop安装在哪里,可以使用如下命令:

locate *share/hadoop/tools/lib/hadoop-streaming*

这样就能很快地定位到hadoop的安装目录了

原创粉丝点击