hadoop运行eclipse生成jar

来源:互联网 发布:ibm r61 linux驱动 编辑:程序博客网 时间:2024/05/16 05:06

配置好hadoop基于eclipse的允许环境后,项目右键->run on hadoop后,

会在eclipse对应的workspace\.metadata\.plugins\org.apache.hadoop.eclipse下,自动生成jar文件,以及其他文件,包括Haoop的一些具体配置等。



如何打包 


将创建的Map/Reduce项目打包成jar包,很简单的事情,无需多言。(直接export)
保证jar文件的META-INF/MANIFEST.MF文件中存在Main-Class映射:
Main-Class: com.hadoop.learn.test.TestDriver


若使用到第三方jar包,那么在MANIFEST.MF中增加Class-Path好了。


另外可使用插件提供的MapReduce Driver向导,可以帮忙我们在Hadoop中运行,直接指定别名,尤其是包含多个Map/Reduce作业时,很有用。


一个MapReduce Driver只要包含一个main函数,指定别名:


MapReduce Driver类上面,右键运行,Run on Hadoop,会在Eclipse的workspace\.metadata\.plugins\org.apache.hadoop.eclipse目录下自动生成jar包,上传到HDFS,或者远程hadoop根目录下,运行它:


# bin/hadoop jar testHadoop_WordCount.java-1994363212279993107.jar WordCount input output
原创粉丝点击