第122讲：实战WordCount测试Hadoop集群环境学习笔记

第122讲：实战WordCount测试Hadoop集群环境学习笔记

WordCount是对众多文件中每一个文件中每一个单词出现次数进行统计。

每一个并行单位都是mapper，mapper会对自己处理的split进行单词计数，最后reducer会对mapper结果再次进行全局统计，最后得出每一个单词在所有文件中出现的次数。

WordCount在hadoop-2.6.0中的share/hadoop/mapreduce/ 下。

通过如下方法执行：

./hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /library/wordcount/input/Data /library/wordcount/output/dt_wordcount1

在8088端口可以看到进程

在worker节点上可以看到YarnChild进行

通过命令查看结果：

hdfs dfs -cat wordcount/output/dt_wordcount1/part-r-00000

 

以上内容是从王家林老师DT大数据课程第121讲的学习笔记。
DT大数据微信公众账号：DT_Spark  

王家林老师QQ:1740415547 

王家林老师微信号：18610086859
 王家林的第一个中国梦：免费为全社会培养100万名优秀的大数据从业人员！
您可以通过王家林老师的微信号18610086859发红包捐助大数据、互联网+、O2O、工业4.0、微营销、移动互联网等系列免费实战课程， 目前已经发布的王家林免费视频全集如下：

1，《大数据不眠夜：Spark内核天机解密（共100讲）》: http://pan.baidu.com/s/1eQsHZAq

2，《Hadoop深入浅出实战经典》http://pan.baidu.com/s/1mgpfRPu 

3，《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1jGpNGwu 

4，《Scala深入浅出实战经典》http://pan.baidu.com/s/1sjDWG25 

5，《Docker公益大讲坛》http://pan.baidu.com/s/1kTpL8UF 

6，《Spark亚太研究院Spark公益大讲堂》http://pan.baidu.com/s/1i30Ewsd 

7，DT大数据梦工厂Spark、Scala、Hadoop的所有视频、PPT和代码在百度云网盘的链接：

http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-to=pcqq.group 

王家林免费在51CTO发布的1000集合大数据spark、hadoop、scala、docker视频： 

1，《Scala深入浅出实战初级入门经典视频课程》http://edu.51cto.com/lesson/id-66538.html 

2，《Scala深入浅出实战中级进阶经典视频课程》http://edu.51cto.com/lesson/id-67139.html 

3，《Akka深入浅出实战经典视频课程》http://edu.51cto.com/lesson/id-77672.html 

4，《Spark亚太研究院决胜大数据时代公益大讲堂》http://edu.51cto.com/lesson/id-30815.html 

5，《云计算Docker虚拟化公益大讲坛 》http://edu.51cto.com/lesson/id-61776.html 

6，《Spark 大讲堂（纯实战手动操作）》http://edu.51cto.com/lesson/id-78653.html 

7，《Hadoop深入浅出实战经典视频课程-集群、HDFS、Yarn、MapReduce》http://edu.51cto.com/lesson/id-77141.html 

8，《从技术角度思考Hadoop到底是什么》http://edu.51cto.com/course/course_id-1151.html 

 

“DT大数据梦工厂”团队第一个中国梦：免费为社会培养100万名优秀的大数据从业人员。每天早上4点起持续分享大数据、互联网+、O2O、工业4.0、微营销、移动互联网等领域的

 

第122讲视频网站地址：

51CTO

http://edu.51cto.com/lesson/id-77772.html