Hadoop运行Jar配置

来源：互联网发布：网络编辑的发展前景编辑：程序博客网时间：2024/04/29 19:10

上一篇《Eclipse调试Hadoop-MapReduce程序》介绍了使用Eclipse开发Hadoop工具的过程
实际应用中，不可能所有的应用都是Eclipse来启动，因此继续看了下如何使用Hadoop来调用Jar包的方式启动程序。

1）根据上篇文的介绍继续，在eclipse工程中的《WordCount.java》上点击右键：
“Export” -> “java” -> “Jar file” -> “next”
在弹出的对话框中，“JAR file:”写入一个导出的Jar名称
这里写图片描述

2）如果hdfs://localhost:9000/output1目录存在，先删除，不然后面运行会出错

hadoop fs -rm -r -f /output1

3) 用hadoop的jar命令运行刚才的jar

hadoop jar WordCount.jar WordCount hdfs://localhost:9000/input01 hdfs://localhost:9000/output01

参数： WordCount.jar 是刚才输出的jar名称
参数： WordCount 是WordCount.java里面的WordCount类的名称，用来查找main函数
后面两个参数就是输入输出的路径

4) Jar的相对路径
上面的运行命令，必须在包含WordCount.jar的目录下运行才行，也就是说WordCount.jar必须是个真实的路径
看网上的资料，设置HADOOP的环境变量HADOOP_CLASSPATH可以不用调用jar包的真实路径
我没试成功。。。。
如果哪位同学实验成功了，麻烦能告诉我下，多谢了

0 0