一个MapReuce作业的从开始到结束--第6章Hadoop以Jar包的方式执行MapReduce任务
来源:互联网 发布:海贼王启航 淘宝号 编辑:程序博客网 时间:2024/04/29 17:29
从bin/hadoop脚本可知,Hadoop运行Jar包执行MapReduce任务的类是org.apache.hadoop.util.RunJar,其源代码在core/org/apache/hadoop/util/RunJar.java。
执行一个Jar包,其本质就是,把Jar解压缩到一个临时目录,以反射的方式获取main函数,然后执行。
[1]. 执行RunJar类的main函数。
[2]. 获取manifest:Manifest manifest = jarFile.getManifest()。
[3]. 获取要执行的类:mainClassName。
[4]. 创建workDir。
[5]. 将jar文件解压缩到wordDir:unJar(file, workDir)。
[6]. 以反射的方式获取main函数:
Method main =mainClass.getMethod("main", new Class[] {
Array.newInstance(String.class,0).getClass()
});
[7].执行main函数:main.invoke(null,new Object[] { newArgs })
- 一个MapReuce作业的从开始到结束--第6章Hadoop以Jar包的方式执行MapReduce任务
- 一个MapReuce作业的从开始到结束--第7章 MapReduce的执行过程
- 一个MapReuce作业的从开始到结束--第2章 启动Hadoop
- 一个MapReuce作业的从开始到结束--第1章 NameNode节点的格式化
- 一个MapReuce作业的从开始到结束--第3章 NameNode节点启动分析
- 一个MapReuce作业的从开始到结束--第4章 DataNode节点启动分析
- 一个MapReuce作业的从开始到结束--第5章 把文件复制到HDFS的流程
- hadoop中mapreduce的jar包执行方式
- 精通HADOOP(九) - MAPREDUCE任务的基础知识 - 执行作业
- hadoop 里执行 MapReduce 任务的几种常见方式
- 第6章MapReduce--Hadoop作业的调度
- hadoop的mapreduce任务的执行流程
- 【Apache Hadoop】MapReuce 编程总结-多MapReduce执行
- 【Apache Hadoop】MapReuce 编程总结-多MapReduce执行
- 精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业
- 精通HADOOP(八) - MAPREDUCE任务的基础知识 - 配置作业
- Hadoop依赖jar包的处理方式
- storm 0.9.6 提交jar任务包的方式
- Jenkins hash
- baidu美化之网页标题问题最新美化规定
- linux 复制多行
- java 中this关键词的使用
- PE详解
- 一个MapReuce作业的从开始到结束--第6章Hadoop以Jar包的方式执行MapReduce任务
- Linux I/O端口与I/O内存
- axure rp教程(三)单选框效果
- UIButton
- 记一次ORA-03113: end-of-file on communication channel错误
- android端asmack获取VCard问题
- Android UI 优化-使用theme 预加载
- 解决vim中文乱码问题
- 嵌入式Linux之我行——Linux-2.6.30.4在2440上的移植之触摸屏驱动