如何使编写的java程序在hadoop 2.2中运行的完整过程
来源:互联网 发布:mac电脑控制安卓手机 编辑:程序博客网 时间:2024/05/29 03:26
如何使编写的java程序在hadoop 2.2中运行的完整过程
(在不使用eclipse情况)
在不使用eclipse情况使java程序在hadoop 2.2中运行的完整过程。整个过程中其实分为java程序的编译,生成jar包,运行测试。
这三个步骤运用的命令都比较简单,主要的还是如何找到hadoop 2.2提供给java程序用来编译的jar包。具体可以查看:
HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib目录
下面会通过一个在hadoop中创建一个目录的JAVA例子来进行演示
具体代码如下:
package com.wan.demo;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class HADemo {public static void main(String[] args) {// TODO Auto-generated method stubmkdir(args[0]);}public static void mkdir(String dir){Configuration configuration=new Configuration();FileSystem fs;try {fs = FileSystem.get(configuration);fs.mkdirs(new Path(dir));fs.close();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}
把HADemo.java文件拷贝到linux环境中
配置HADOOP_HOME/bin到环境中,启动集群,进入HADemo.java文件目录中
注:下面的lib目录里面的文件由HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/ webhdfs/WEB-INF/lib目录中获取,下面做的目的是为了缩减命令长度
1.编译java
# mkdir class
#Javac -classpath .:lib/hadoop-common-2.2.0.jar:lib/hadoop-annotations-2.2.0.jar -d class HADemo.java
2.生成jar包
#jar -cvf hademo.jar -C class/ .
added manifest
adding: com/(in = 0) (out= 0)(stored 0%)
adding: com/wan/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/(in = 0) (out= 0)(stored 0%)
adding: com/wan/demo/HADemo.class(in = 844) (out= 520)(deflated 38%)
3.测试运行
#hadoop jar hademo.jar com.wan.demo.HADemo /test
检测:
#hadoop fs -ls /
结束!
- 如何使编写的java程序在hadoop 2.2中运行的完整过程
- Java开发的mapreduce如何在hadoop中运行
- oc程序运行的完整过程
- 在VS中如何让C#语言编写的程序自动以管理员身份运行
- mfc编写的程序如何在别人机器上运行?
- 运行hadoop程序,如何在map中获取输入数据的全路径(fullpath)
- 在window下的eclipse中远程编写Hadoop程序
- 在windows7下Eclipse中运行Hadoop的WordCount程序
- 如何在eclipse中编写好程序,然后打包成jar文件,在hadoop分布式集群上运行
- 如何提高android程序运行效率,程序员在开发过程中应当注意的一些事项
- 如何提高android程序运行效率,程序员在开发过程中应当注意的一些事项
- 在绘图程序编写过程中遇到的问题~
- iOS中程序启动的完整过程
- java程序的运行过程
- Java程序的运行过程
- 如何将在Eclipse中编写的java程序发布成.exe的可执行文件 (转)
- 如何将在Eclipse中编写的java程序发布成.exe的可执行文件
- 如何将在Eclipse中编写的java程序发布成.exe的可执行文件 (转)
- web项目中的业务逻辑和数据的关系
- 简单的C程序设计
- mac命令笔记
- HOG特征分析
- 输出字符串的所有全排列(递归法和非递归,非递归采用组合数学的字典序)
- 如何使编写的java程序在hadoop 2.2中运行的完整过程
- GMGridView扩展心得
- 著名的八皇后问题
- 一步一步在OEL5.5 64位Linux上安装Oracle 10gR2 RAC(4)
- Android 4.0 Launcher2源码分析——Launcher内容加载详细过程
- Copy List with Random Pointer
- ZOJ 1992 Sightseeing Tour
- 一步一步在OEL5.5 64位Linux上安装Oracle 10gR2 RAC(5)
- 树状视图拖放实现