Hadoop 命令行运行实例
来源:互联网 发布:linux下退出vim 编辑:程序博客网 时间:2024/05/03 20:03
打包
为了能够在命令行中运行程序,首先需要对他进行编译和打包,下面就分别展示了编译和打包的过程
编译代码如下:
javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar -d wordcount_class wordcount.java
上述命令会将wordcount.java编译后的所有class 文件到wordcount_class文件夹下,执行下面的命令打包所有的class文件:
jar -cvf /usr/local/hadoop/hadoop-1.0.2/bin/wordcount.jar -C wordcount_class/.标明清单(mainfest)增加:wordcount$Map.class增加:wordcount$Readuce.class增加:wordcount.class
在本地模式下运行
hadoop jar wordcount.jar input output
在集群上运行
首先将输入的文件复制到hdfs钟,用以下命令完成该功能
hadoop dfs -copyFromLocal /input 下面用命令行中运行程序hadoop jar /wordcount.jar wordcount inpout output执行上述命令运行wordcount.jar中的wordcount类,并且将input作为输入,output作为输出
返回结果:
通过命令行直接显示输出文件夹中的文件
hadoop dfs -ls output
通过以上命令 的执行结果可以发现,输出的结果中一共有6个文件
将输出的文件从hdfs复制到本地文件系统上,在本地文件系统上查看
命令如下:
hadoop dfs -get output/* /home/u/output还可以在命令行中将输出的文件合并成一个文件,并复制到本地文件系统中hadoop dfs -getmerge output/* /home/u/output
0 0
- Hadoop 命令行运行实例
- 命令行运行hadoop实例wordcount程序
- 命令行运行hadoop实例wordcount程序
- hadoop 命令行运行任务
- hadoop wordcount运行实例
- hadoop-运行WordCount实例
- Hadoop 运行wordcount 实例
- Hadoop实例运行
- hadoop运行wordcount实例
- Jmeter命令行运行实例讲解
- Jmeter命令行运行实例讲解
- hadoop下运行实例wordcount
- 运行Hadoop伪分布式实例
- Hadoop使用jar运行实例
- hadoop运行eclipse简单实例
- hadoop-quickstart-命令行方式打包运行wordcount
- Hadoop命令行运行KMeans(含源代码)
- hadoop学习---运行第一个hadoop实例
- Objective-C----autorelease pool
- Android数据库高手秘籍(八)——使用LitePal的聚合函数
- spark_job_server
- Python爬取某贴吧第一页的所有帖子的标题、连接、作者,将数据储存到txt文件中
- C++ Primer Plus学习笔记四(第四章)
- Hadoop 命令行运行实例
- Objective-C----多态
- android点滴记录
- Leetcode:Partition List
- 稍微记录一下xamarin的安装过程
- 黑马程序员——JAVA笔记——String类
- #pragma region用法
- 手写导航条NavigationBar
- Objective-C----NSDate、NSDateFormatter