hadoop-MapReduce使用的Java技术

来源:互联网 发布:用c语言编写杨辉三角 编辑:程序博客网 时间:2024/05/17 07:46

最近在自学MapReduce的知识,虽然是个初学者,但是里面用的Java技术对于我来说并不陌生,在阅读源码的同时我可以体会到hadoop的开发者是一个资深的Java开发者,对于架构和分布式的知识有深层次的研究,同时感觉自己任重而道远啊。好了,不扯淡。我就说一说学习MapReduce需要的Java知识。
1、Java 的CallBack机制
理解这个机制首先要对java多态有深层次的理解不简简单单的知识会用,要知道怎么使用,为什么这样用,在什么时候使用。具体的Callback是什么,我在博客中已经简单的写过,不做具体的说明,具体这个使用的妙处,需阅读源码体会。
2、Java 序列化
对象的序列化有两个目的:1)持久化对象–指的是持久化对象到文件。2)服务通讯例如:在RPC中的使用,就是为了通讯使用。
3、MapReduce 中通讯通过RPC 实现
RPC 中使用的Java 技术
1)动态代理
2)Java NIO技术
3)Java Socket技术
在系统之间的通信机制主要有两种:基于消息通信,基于调用;
RPC是基于消息的机制;基于调用的比较常见的是HTTP;
这是我阅读源码在一步步看出来的这些java基础知识,如果想深入学习MapReduce 我觉得最起码的你要对这些知识有深入的理解。具体我会在后面的博客中介绍这些基础知识。

0 0