hadoop新版的api接口实现启动运行hadoop代码
来源:互联网 发布:黑镜第一季第二集 知乎 编辑:程序博客网 时间:2024/05/27 12:21
在hadoop0.20.2版本之后,hadoop提供了一个新的api接口,用于开启hadoop代码。
那么采用如下形式来实现:
mapper和reducer类不再是接口而是抽象类,因此,map函数和reduce函数不再实现mapper和reducer接口了,而是继承相应的抽象类。这样更容易扩展。另外,在新版的api中,广泛使用context对象,并且用mapcontext来对mapreduce之间的通信进行维护,还充当了outputcollector和reporter的角色。
job由统一的configuration来完成,而不必额外使用jobconf来对守护进程进行配置。由job类来负责job的通信,而不是jobclient,且jobclient已经在新的api中被删除了。
此外,关于toolrunner类,继承自configured,实现tool接口。在main方法中通过toolrunner.run()来调用上述类中的run方法。
将所有的关于job的配置信息放置在run方法中来实现。
public int run(String[] args) throws Exception
{
Job job = new Job(getConf());
job.setJarByClass(***.class);
关于job的一些输入输出的配置信息
}
然后是在main函数中,通过toolrunner.run()来调用此方法来实现开启hadoop。
未完待续。。。
阅读全文
0 0
- hadoop新版的api接口实现启动运行hadoop代码
- 我的hadoop程序之----------------------DataJoinDC------------多表链接的分布式缓存实现(新版API)
- 黑马程序员--基于Hadoop新版API的MapReduce程序
- Hadoop - Map/Reduce 通过WordCount例子的变化来了解新版hadoop接口的变化
- Hadoop:Java API实现
- 实现Hadoop的Writable接口Implementing Writable interface of Hadoop
- Hadoop 实现Writable接口
- hadoop:Streaming接口实现
- Hadoop:Pipes接口实现
- Hadoop--有关Hadoop的启动
- Hadoop之HDFS的API实现
- hadoop:基于Java API实现的编译
- 百度翻译新版API的VB实现代码
- Hadoop学习笔记(3)-java操作hdfs的API接口
- hadoop学习笔记--5.HDFS的java api接口访问
- Hadoop 2.2.0新API的WordCount例子(运行通过)
- hadoop平台运行python代码
- hadoop平台运行python代码
- 用maven创建web项目时无法创建src/main/java等源目录
- 二叉树的前序,中序,后序遍历原则
- 【c++】vector容器&set容器的基本操作
- git---window系统中如何通过git命令符生成秘钥SSH Key,向GitHub添加密钥 ?
- SpringJdbc访问数据库
- hadoop新版的api接口实现启动运行hadoop代码
- 回顶部
- win10你没有权限在此位置中保存文件
- EditPlus技巧集锦
- Java+Selenium3方法篇14-元素操作之输入和点击
- 相会·《基层风云·1》·二
- 代码练习
- 给java初学者关于jdk jre eclipse tomcat jetty 的疑惑的说明
- sql查询优化