hadoop自带示例wordcount
来源:互联网 发布:windows驱动开发培训 编辑:程序博客网 时间:2024/03/29 13:29
1.首先确认你的hadoop启动了。
master与slave启动方式相同,进入hadoop目录下的sbin目录,命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整)
启动hadoop:(1)$./start-dfs.sh (2)$./start-yarn.sh
启动后的效果如图:master如图1,slave如图2
图1 图2
ps:可以在真机浏览器上输入master:50070或者/8088查看hadoop具体启动详情。
2.敲黑板划重点
HDFS是hadoop原生态的文件系统!!!类似window下NTFS,不理解的童鞋自己补习下操作系统去。很多神坑教程并没有强调这一点,只是一味的让你$hadoop fs -mkdir /input,小编在这里再次强调下,这条命令是在hdfs文件系统下创建/input目录,所以要用hadoop的命令方式才能查看到你的文件。$hadoop fs -ls /input
3.具体实现
进入hadoop安装目录:$cd /home/hadoop/hadoop/
查看目录下情况:$ll
可以看到:如下图目录详情
这里我们就以LICENSE.txt文件作为输入源文件,可以查看下license内容:$ cat LICENSE.txt ,我们统计下里面各个单词出现的次数,是不是有点小激动。。。。#。#
3.1在HDFS中创建input目录
就在刚才hadoop 目录下,输入命令:$hadoop fs -mkdir /input 之后可以用命令看:$hadoop fs -ls / 我们创建input目录成功,截图
如下图:
我们将LICENSE.txt放到input目录下:$hadoop fs -put LICENSE.txt /input 可以通过命令:$hadoop fs -ls /input看到license.txt已经存在input目录下了,截图如下图:
接下来只需要将/input通过hadoop自带示例程序wordcount计算出其中各字母出现的次数便可,命令:$hadoop jar /home/hadoop/hadoop/share/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output(ps:根据自己hadoop版本和路径相应的调整),由于我之前已经运行过一遍,所以直接就出现下面的截图,第一次运行可能需要等上一小会,毕竟那么多单词,统计还是要花时间的,截图奉上:
可以通过命令$hadoop fs -ls /看出,HDFS系统下多了个/output 和/tmp目录。打开/output目录可以看到下面有两个文件(_SUCCESS和part-r-00000),说明已经运行成功了,直接打开part-r-00000便可以查看结果,命令$hadoop fs -cat /output/part-r-00000,结果如图:
4.总结
这是小编自学hadoop的第一个示例程序,虽然简单,但是通过自己对hadoop文件系统HDFS和hadoop的shell命令的了解。
- hadoop自带示例wordcount
- hadoop 自带示例wordcount 详细运行步骤
- Hadoop系列--Hadoop自带程序wordcount运行示例
- hadoop自带的WordCount程序
- Hadoop自带WordCount.java程序
- hadoop自带wordcount代码详解
- hadoop自带的wordcount小案例
- Hadoop 自带WordCount 操作步骤
- hadoop自带wordcount代码详解
- 运行hadoop自带wordcount例子
- Hadoop—测试hadoop自带wordcount 实例
- 分析Hadoop自带WordCount例子的执行过程
- linux下eclipse上运行hadoop自带wordcount程序
- 分析Hadoop自带WordCount例子的执行过程(1)
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- hadoop自带例子wordcount的具体运行步骤
- Hadoop自带字数统计程序wordcount异常
- Hadoop中自带的examples之wordcount应用案例
- NATLAB中矩阵乘法与矩阵点乘(对应位相乘)
- Hadoop-2.7.3集群(HDFS)搭建
- ZCMU-1231-Antimonotonicity
- 清新脱俗的网页设计,给你不一样的视觉感受
- Linux下安装和配置Git
- hadoop自带示例wordcount
- leetcode 325 Maximum Size Subarray Sum Equals k
- cronolog分割Tomcat7的catalina.out
- 【背包专题——完全背包】
- android-studio下载安装
- boost.asio系列——Timer
- 问题?关于家乡的话题!
- Windows CMD "Error 87" caused by "process_begin: CreateProcess(...."
- Android----MVC、MVP、MVVM、区别介绍