Hadoop 2.6

来源:互联网 发布:c语言教材入门 编辑:程序博客网 时间:2024/04/30 19:17

说明

对于Hadoop而言,WordCount 相当于其他编程语言的Hello World。本文通过运行Hadoop 2.6 自带的 wordCount 实例,完成一次入门级的 Map Reduce 作业。WordCount 即通过 Map Reduce 对输入中的内容进行分词并计算每个单词出现的次数。

WordCount

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output/wordcount# /input/ : 输入路径,即对 HDFS 中 /input/ 路径下的所有文件进行WordCount# /output/wordcount : 结果输出路径,如果 /output/wordcount 目录不存在,则会自动创建该目录; 同时,如果之前已经执行过一次该任务,下一次执行时要么删除之前的结果,要么更换输出路径。# 否则,会报异常: FileAlreadyExistsException
0 0
原创粉丝点击