用hadoop运行一个简单程序WordCount
来源:互联网 发布:adobecc2018 mac 破解 编辑:程序博客网 时间:2024/05/29 03:50
1、在hadoop目录下面新建两个文件夹,随便输入一些语句
2、在HDFS上创建输入文件夹
呼出终端,输入下面指令(要在/usr/Hadoop/hadoop0.21.0/目录下):
bin/hadoop fs -mkdir hdfsInput
执行这个命令时可能会提示类似安全的问题,如果提示了,请使用
bin/hadoop dfsadmin -safemode leave
来退出安全模式。
3. 上传本地file中文件到集群的hdfsInput目录下
在终端依次输入下面指令(f_*表示以f_开头的所有文件):
bin/hadoop fs -put file/f_*.txt hdfsInput
4. 运行例子:
在终端输入下面指令(所有jar文件全在/usr/hadoop/hadoop0.21.0目录下面):
bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount hdfsInput hdfsOutput
注意,这里的示例程序是0.21.0版本的,可能每个机器有所不一致,那么请用*通配符代替版本号
bin/hadoop jar hadoop--mapred-examples-*.jar wordcount hdfsInput hdfsOutput
应该出现下面结果:
查看HDFS上hdfsOutput目录内容:
在终端输入下面指令:
bin/hadoop fs -ls hdfsOutput
我们的结果在"part-r-00000"中。
使用下面指令查看结果输出文件内容
输出目录日志以及输入目录中的文件是永久存在的,如果不删除的话,如果出现结果不一致,请参考这个因素。
0 0
- 用hadoop运行一个简单程序WordCount
- 用hadoop运行一个简单程序WordCount
- hadoop运行WordCount程序
- Hadoop 运行 Wordcount程序
- hadoop平台运行WordCount程序
- 使用hadoop运行wordcount程序
- 运行Hadoop示例程序WordCount
- 【学习笔记】用Hadoop在MapReduce中WordCount简单程序运行详细流程
- Hadoop示例程序WordCount运行及详解
- 命令行运行hadoop实例wordcount程序
- hadoop初学之WordCount程序一步一步运行
- hadoop实例WordCount程序一步一步运行
- 命令行运行hadoop实例wordcount程序
- ubuntu下hadoop运行wordcount程序
- Hadoop示例程序WordCount编译运行
- Hadoop wordcount程序的配置运行
- Hadoop-1.2.1示例程序wordcount运行
- Hadoop实例WordCount程序一步一步运行
- 第十三周 每对顶点之间的最短路径(Floyd算法)
- post提交参数有Date类型,总是返回400格式错误
- 自定义的Label,可以设置同一Label字体的大小不同,颜色不一
- 一份php面试题(附答案)
- MySQL存储引擎介绍
- 用hadoop运行一个简单程序WordCount
- 第十三周项目4—拓扑排序算法验证
- 第十二周 项目4-利用遍历思想求解图问题(1)(2)
- 第十三周 图 项目一 (5)
- 第九周项目2(1)
- 学习笔记之JavaSE(34)--JavaAPI详解9
- 第十三周项目(4)Floyd算法验证
- 第十三周--floyd算法的验证
- 第十二周项目4 利用便利思想求解图问题(1)