hadoop helloworld(wordcount)

来源:互联网 发布:男士爽肤水和乳液 知乎 编辑:程序博客网 时间:2024/06/11 08:48

一、安装hadoop

发现在mac上安装hadoop有更快捷的方法,首先安装homebrew,homebrew是一个包管理工具,安装hadoop命令如下:

brew install hadoop

默认会安装在/usr/local/Cellar目录下。该目录默认为隐藏的,可以打开finder,依次:菜单栏”前往”->”前往文件夹”,输入/usr/local/Cellar。快捷键command+shift+G。

二、运行wordcount入门程序

wordcount是hadoop统计文本中单词的入门程序。
在/usr/local/Cellar/hadoop /2.7.2目录下新建input文件夹,在input文件夹下新建2个文本文档text1.txt和text2.txt,往里面随便输入一些单词:
text1.txt:

张三李四 王五李四

text2.txt:

hello world!hello Beijing.Beijing

打开终端,运行以下命令:

hadoop jar  /usr/local/Cellar/hadoop/2.7.2/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount input output

会输出一串命令,在/usr/local/Cellar/hadoop/output目录下新生成part-r-00000文件,打开:

Beijing 1Beijing.    1hello   2world!  1张三  1李四  2王五  1

这里写图片描述

参考博客:

  1. Hadoop集群(第6期)_WordCount运行详解
  2. 【Hadoop】MAC下hadoop2.6安装以及执行wordcount
1 0